- ניקוד מ-0 ל-1, שניתן לסמן כהצליח או נכשל
- מטריקה, כגון ספירה, משך זמן או עלות, עם היחידה שלה
- אישור, שעבר או לא עבר
שני סוגי מעריכים
Python מתארח הוא בכוונה קטן: ביטוי אחד, אין יבוא, אין רשת. כל דבר שצריך מודל — שופט LLM שמעריך אם תשובה הייתה רלוונטית, למשל — רץ בעובד שלך במקום זאת. שום סוג לא צריך חיבור פנימי: עובדים טוענים סשנים שהסתיימו ומגישים תוצאות על פני HTTPS יוצא.
כל ארגון מעריך את הסוכנים שלו
הערכות שייכות לארגון שמגדיר אותן. כל ארגון בחזקה כותב שלו — הבדיקות שלו, התנאים, הסף וההתויות — גרסאות וגיבוש ללא השפעה על אחר כלשהו, וראה רק את התוצאות שלו. סנן את התוצאות הללו לפי סוכן, סביבה, הערכה וזמן, או שאל את העוזר עליהן.מהטיוטה הראשונה ל-scores חי
1
כתוב את זה
תאר מה למדוד והנח לעוזר לטיוטה אותו, או כתוב אותו בעצמך. ראה כתוב הערכה.
2
בדוק את זה
הרץ אותו נגד סשנים אמיתיים לפני שהוא עולה לשידור; שום דבר לא מאוחסן. ראה בדוק הערכה.
3
גיבוש וגרסה
גיבוש גרסה בלתי משתנה, פרסם חדשות כשהיא משתנה, וחזור לאחת מוקדמת. ראה גיבוש וגרסה.
4
קרא את התוצאות
תרשים ניקוד לאורך זמן, השווה סוכנים וסביבות, ושאל את העוזר. ראה קרא תוצאות הערכה.