מודל הנתונים
Event יחידת הנתונים הקטנה ביותר. אירוע אחד רושם צעד יחיד שהסוכן שלך ביצע:tool_use, model_request, hook_completed, error, וכדומה. הסוכן שלך פולט אירועים דרך ה-Python SDK; הם מופיעים בזמן אמת בעמוד Events.
Session
ריצה אחת של סוכן, המזוהה על ידי session_id. סשן הוא כל האירועים החולקים את המזהה הזה, ממוקדים בשורה יחידה בעמוד Sessions וצויירו כגרף ביצוע בעמוד הפרטים שלו. סשן בדרך כלל מתחיל עם agent_start ומסתיים עם agent_end.
Agent
שחקן בעל שם בתוך ריצה, המזוהה על ידי agent_id. ריצה יכולה לכלול כמה סוכנים: מתכננן שיוצר תת-סוכן מסכם, לדוגמה. תת-סוכנים נושאים parent_id, וזה מה שמאפשר ל-Failproof AI Observability לצייר אותם בנתיבים שלהם בגרף הביצוע.
Environment
תווית למקום בו התרחשה הריצה: production, staging, dev. אתה מגדיר את זה פעם אחת כשאתה מגדיר את ה-SDK. כמעט כל עמוד בלוח הבקרה יכול לסנן לפי סביבה.
Context-window fill
אחוז חלון ההקשר של מודל שתגובה צרכה. Failproof AI Observability חוצצה אותו על אירועי model_response עבור מודלים שהוא מזהה, כך שגדילת ההנחיה והעימות קרוב יהיו גלויים ממש בזרם האירועים.
איכות
Evaluation ציון איכות לסשן שהסתיים, שמופק על ידי שירות ניקוד שאתה מריץ. הערכות הן אופציונליות: עד שאתה מחבר מערך, סשנים מתועדים אך לא מדורגים. כל הערכה יכולה להכיל כמה ציונים בעלי שם (לדוגמהhelpfulness, factuality, tool_efficiency), כל אחד עם הערה קצרה של הנמקה. ראה Evaluation suite.
Score key
שם של ממד אחד שמערך דיווח עליו, כגון helpfulness. התראות וביקורות יכולות להסתכל על מפתח ציון ספציפי לאורך זמן.
Evaluator
שירות הניקוד שלך. Failproof AI Observability משדרת את התמלול של ריצה שהסתיימה אליו ושומרת את הציונים שהוא מחזיר. זה לא משדר מערך ברירת מחדל; לוגיקת הניקוד היא שלך.
מציאה ותיקון כשלים
Hook מגן או תופעת לוואי שמסגרת הסוכן שלך מריצה סביב צעד: בדיקת בטיחות תוכן, עריכת PII, שמורת תקציב. Hooks פולטות אירועיhook_triggered / hook_completed עם outcome (allow, deny, modify), ומקבלות את עמוד ההתבוננות שלהן.
Alert rule
כלל שנכנס לפעולה כאשר מטרי חוצה סף שהגדרת: שיעור שגיאות, p95 latency, עלות אסימונים, או ציון מערך. כאשר כלל נכנס לפעולה, הוא פותח כרונה ומודיע לערוצים שבחרת (דוא”ל, Slack, webhook, בתוך לוח הבקרה). ראה Alerts.
Incident
בעיה פתוחה שנוצרה כאשר כלל התראה נכנס לפעולה. לכרונות יש מחזור חיים (קבל, הקצה, פתור) וציר זמן פעילות שרושם כל פעולה. אתה יכול גם לפתוח אחת ידנית.
Audit
חקירה חוזרת (כל שעה עד שבועית) שחופרת את היומנים שלך על פני סשנים לחיפוש דפוסי כשל שלא כתבת כלל עבורם: אשכולות שגיאות, ציונים נמוכים, חריגות latency, לולאות קריאת כלים, וריצות שלא הסתיימו. איפה שהתראה שומרת על מטרי שאתה כבר יודע עליו, ביקורת אומרת לך למה להסתכל הבא. ראה Audits.
Finding
תוצאה אחת דורגת וגיבוי ראיות מריצת ביקורת. מציאה מכנה דפוס, מקשרת להפעלות המדויקות מאחוריו, וממלאה מחזור חיים בדיקה (קבל, פתור, השתק, בטל). Failproof AI Observability מסלקת מציאות פעם על פעם כך שדפוס ידוע מתעדכן במקום להצטבר.
The AI assistant
הצ’אט בתוך לוח הבקרה שמענה לשאלות על הסוכנים שלך באנגלית רגילה, על הנתונים שלך שלך. הוא קריאה בלבד כברירת מחדל; כל דבר שהוא יוצר (שאילתה שמורה, לוח בקרה) מאושר בשער, והוא לא יכול לעולם למחוק. ראה AI assistant.
הפעלה
Organization (tenant) סביבת עבודה מבודדת. מופע אחד של Failproof AI Observability יכול להנחות ארגונים רבים, כל אחד עם המשתמשים, המפתחות, וההנתונים שלו. כל URL של לוח בקרה מסודר בהיקף של ה-slug הארגוני שלך (/<org-slug>/…).
Collector
agenteye-collector, הדמון הקל שרץ בכל מכונת סוכן, מקבץ את האירועים שה-SDK כותב לדיסק, ומשדר אותם לשרת.
API key
אסימון בהיקף זה מאמת לקוח כנגד השרת. מפתחות נושאים הרשאות דקיקות (לדוגמה events:add עבור הקולט, היקפי קריאה בלבד עבור מפתח לוח בקרה). ראה API keys.
Server
שירות ההשקעה וה-API. הוא משקיע אירועים, שומר מצב תפעולי בבסיסי הנתונים שלך, ומשרת את לוח הבקרה וה-CLI.
Dashboard
ממשק המשתמש של האינטרנט. כל עמוד מסודר לארגון ו קורא דרך API של השרת.
צעדים הבאים
- Overview: איך החלקים האלה מתאימים יחד.
- Observability: משטחי ההתבוננות (Events, Sessions, Models, Tools, Hooks, Errors).