מודל הנתונים
Event (אירוע) יחידת הנתונים הקטנה ביותר. אירוע אחד רושם צעד יחיד שהאג’נט שלך ביצע:tool_use, model_request, hook_completed, error וכדומה. האג’נט שלך פולט אירועים דרך Python SDK; הם מופיעים בזמן אמת בדף Events.
Session (סשן)
ריצה אחת של אג’נט, המזוהה בעזרת session_id. סשן הוא כל האירועים החולקים את אותו מזהה, מקובצים לשורה יחידה בדף Sessions ומצוירים כגרף ביצוע בדף הפרטים שלו. סשן בדרך כלל מתחיל עם agent_start ומסתיים עם agent_end.
Agent (אג’נט)
שחקן בעל שם בתוך ריצה, המזוהה בעזרת agent_id. ריצה יכולה לכלול מספר אג’נטים: למשל, מתכננן שיוליד תת-אג’נט סיכום. תת-אג’נטים נושאים parent_id, וזה מה שמאפשר ל-FailproofAI Observability לצייר אותם בנתיבים נפרדים בגרף הביצוע.
Environment (סביבה)
תווית למקום בו התרחשה הריצה: production, staging, dev. אתה מגדיר אותה פעם אחת כשאתה מתצורת ה-SDK. כמעט כל דף בלוח הבקרה יכול לסנן לפי סביבה.
Context-window fill (מילוי חלון הקשר)
אחוז חלון ההקשר של המודל שתגובה צרכה. FailproofAI Observability חותמת אותו על אירועי model_response עבור מודלים שהוא מכיר, כך שגדילת ההנחיה והדחיסה הקרובה גלויים ישירות בזרם האירועים.
איכות
Evaluation (הערכה) ציון איכות לסשן שהסתיים, המיוצר על ידי שירות ניקוד שאתה מפעיל. הערכות הן לא חובה: עד שאתה מחבר מעריך, סשנים נרשמים אך לא מדורגים. כל הערכה יכולה לשאת מספר ציונים בעלי שם (לדוגמהhelpfulness, factuality, tool_efficiency), כל אחד עם הערת נימוק קצרה. ראה Evaluation suite.
Score key (מפתח ציון)
שם של מימד אחד שמעריך מדווח עליו, כגון helpfulness. התראות והביקורות יכולות לעקוב אחרי מפתח ציון ספציפי לאורך זמן.
Evaluator (מעריך)
שירות הניקוד שלך. FailproofAI Observability מבצעת POST של תעתיק ריצה שהסתיימה אליו ואחסנת את הציונים שהוא מחזיר. זה לא משלח מעריך ברירת מחדל; ההיגיון בניקוד הוא שלך.
מציאה ותיקון כשלים
Hook (וו) מגן או תופעת לוואי שמסגרת האג’נט שלך מפעילה סביב צעד: בדיקת בטיחות תוכן, שחזור PII, משמר תקציב. ווים פולטים אירועיhook_triggered / hook_completed עם outcome (allow, deny, modify), ומקבלים דף observe משלהם.
Alert rule (כלל התראה)
כלל שמופעל כשמטריקה חוצה ערך סף שהגדרת: שיעור שגיאות, p95 latency, עלות טוקנים, או ציון מעריך. כשכלל מופעל, הוא פותח incident ומודיע לערוצים שבחרת (דוא”ל, Slack, webhook, בתוך הלוח). ראה Alerts.
Incident (תקרית)
בעיה פתוחה שנוצרה כשכלל התראה מופעל. לתקריות יש מחזור חיים (acknowledge, assign, resolve) וציר זמן פעילות שרושם כל פעולה. אתה יכול גם לפתוח אחת באופן ידני.
Audit (ביקורת)
חקירה חוזרת (כל שעה עד שבועית) שחופרת בתוך הלוגים שלך על פני סשנים עבור דפוסי כשל שלא כתבת כלל עבורם: clusters של שגיאות, ציונים נמוכים, outliers של latency, לולאות tool-call וריצות שלא הסתיימו. כשהתראה עוקבת אחרי מטריקה שאתה כבר יודע עליה, ביקורת אומרת לך מה להסתכל עליה הבא. ראה Audits.
Finding (ממצא)
תוצאה אחת בדירוג גבוה ותמוכה בראיות מריצת ביקורת. ממצא מנקה דפוס, קשור לסשנים המדוקדקים מאחוריו, ונושא מחזור חיים triage (acknowledge, resolve, mute, dismiss). FailproofAI Observability משכפלת ממצאים מריצה לריצה כך שדפוס ידוע מתעדכן במקום להצטבר.
The AI assistant (העוזר הבינה מלאכותית)
הצ’אט בתוך הלוח שעונה על שאלות לגבי האג’נטים שלך בשפה טבעית, על הנתונים שלך שלך. זה read-only בברירת מחדל; כל דבר שהוא יוצר (שאילתה שמורה, לוח בקרה) הוא approval-gated, והוא לעולם לא יכול למחוק. ראה AI assistant.
הפעלה
Organization (tenant) (ארגון) מרחב עבודה מבודד. instance אחת של FailproofAI Observability יכולה לארח ארגונים רבים, כל אחד עם משתמשים שלו, מפתחות וקופצים. כל כתובת URL של לוח בקרה היא scoped תחת slug הארגון שלך (/<org-slug>/…).
Collector (אוסף)
agenteye-collector, ה-daemon קל משקל שפועל על כל מכונת אג’נט, משכפל את האירועים שה-SDK כותב לדיסק, ושולח אותם לשרת.
API key (מפתח API)
אסימון scoped שמאמת קליינט מול השרת. מפתחות נושאים הרשאות granular (לדוגמה events:add עבור ה-collector, scopes read-only עבור מפתח לוח בקרה). ראה API keys.
Server (שרת)
שירות הingest והAPI. הוא ממחיר אירועים, אחסן state תפעולי בבסיסי הנתונים שלך, ומשרת את הלוח והCLI.
Dashboard (לוח בקרה)
ממשק המשתמש של האינטרנט. כל דף הוא scoped לארגון וקורא דרך ה-API של השרת.
שלבים הבאים
- Overview: איך כל החלקים האלה מתחברים.
- Observability: משטחי ה-observe (Events, Sessions, Models, Tools, Hooks, Errors).