מדדי ביצוע

ראה את הרגע בו המודלים, הכלים או ה-hooks מאטים או מרימים את החשבון, ותופסו עיכוב זנב לפני שהמשתמשים שלך ירגישו זאת. שלוש דפים ייעודיים הופכים תזמוני גולמיים ל-p50, p95, ו-p99 שתוכל לקרוא בחטף. דף Models: מפת חום של latency, קו אחוזון וטוקנים לפי מודל, עלות משוערת ומילוי חלון context.

​

הפסק להתיר לממוצעים להסתיר את ההרצות הגרועות שלך

מספר latency ממוצע הוא משכנע וחסר תועלת: הוא משטח על אותה קריאה אחת מחמישים שתלויה ומעוררת את ה-on-call שלך בשעתיים בלילה. דפי Models, Tools ו-Hooks מסרבים לעשות זאת. לכל אחד אותו צורה, כך שתלמד את זה פעם אחת:

• sparkline בן 24 תאים עבור הטרנד בחטף: האם זה הולך להחמיר?
• פס חיויים עם p50, p95, ו-p99 latency, כך שההרצה הטיפוסית והזנב יושבים זה ליד זה.
• מפת חום של latency, 24 תאי זמן לפי דלי latency, שמציגה מתי הקריאות האטות התקבצו.
• קו אחוזון: קו p50 עם סרטי צל p25 ל-p75 ו-p10 ל-p90 ונקודות p99, כך שההתפשטות נשארת גלויה במקום להיות ממוצעת.

crosshair ריחוף משותף קושר את מפת החום והקו, כך שעיכוב זנב מיישר שורה בזמן על שניהם במקום להסתתר מאחורי שורת ממוצע אחת. מצא את כל שלוש הדפים בקטע observe של הלוח הבקרה שלך, כל אחד בהיקף הארגון שלך וניתן לסינון לפי טווח תאריכים, סביבה, agent וsession.

​

Models: ראה בדיוק מה כל מודל עולה לך

דף Models (המוצג למעלה) עונה על שתי השאלות שכל חשבון מעלה: איזה מודל, וכמה. על גבי התצוגה latency המשותפת, הוא מוסיף צריכת טוקנים לפי מודל, עלות משוערת ומילוי חלון context, כך שגדילה בלתי מבוקרת של prompt וcompaction קרוב יותר גלויים לפני שהם תופסים אותך בפתיעה. Failproof AI Observability מזהה מזהי מודל נפוצים באופן אוטומטי. אם חלון נראה לא תקין, או שאתה מריץ מודל פרטי משלך, תקן אותו או הוסף אחד תחת Settings, בmodel context windows, וקריאות המילוי עוקבות.

​

Tools: הבחן בין האיטי לשבור

קריאת tool יכולה להיות איטית, או שהיא יכולה להיכשל בשקט, ואתה רוצה לדעת איזה מהם בעוד שניות, לא אחרי שחפרת דרך יומנים. דף Tools: אותה מפת חום וקו אחוזון, בתוספת פירוק הצלחה וכישלון וקו התפלגות כלי. לצד התצוגה latency המשותפת, דף Tools מוסיף פירוק הצלחה וכישלון וקו התפלגות כלי, כך שתראה בחטף אילו כלים אתה מסתמך עליהם הכי הרבה ואילו אוכלים את תקציב השגיאות שלך.

​

Hooks: אתר את ה-hook והטריגר המדויקים

כאשר lifecycle hook משך run, “hooks הם איטיים” אינו משהו שאתה יכול לפעול לפיו. דף Hooks מקבל אותך לזה שחשוב. דף Hooks: latency מפורק לפי שם hook ואירוע טריגר. על אותה מפת חום של latency וקו אחוזון, דף Hooks מפרק את הפעילות לפי שם hook ואירוע טריגר, כך שתנחת על ה-hook האחד ואירוע אחד שצריכים תשומת לב.

​

קשור

• Event stream: השביל החי וקידוד הצבע של כל אירוע.
• Sessions: צבור אירועים לשורה אחת לכל ריצה ופתח את גרף ההוצאה לפועל שלה.
• Error tracking: משטח triage אחד לכל מה שהלוח הבקרה צובע אדום.
• Dashboards: צפייה rolled-up על פני הצי שלך.