Evaluations

​

title: “הערכות מקוונות” description: “דירוג הפעלות חיות ושהסתיימו לאיכות, ציות, עלות ותופעת השהיה.” icon: “gauge”

​

סקור איכות הערכה

• Dashboard
• CLI

1. עבור אל Observe → Evaluations.
2. הוסף סדרה ובחר את הסוכן, הסביבה, ציון ההערכה, הנתון וההעקומה.
3. הוסף סדרות להשוואת סביבות, סוכנים או מפתחות ציון.
4. בחר תוצאה כדי לפתוח הפעלות תואמות או שתף את התצוגה המסוננת. השתמש ב-Observe → Metrics לערכי השהיה, אסימונים, עלות וערכי גודל אחרים.

פתח הפעלה מהדקירה כדי לבדוק את הנימוקים לכל ציון:

fp evals --agent-id checkout-agent --aggregate
fp evals --aggregate --env production --status error
fp evals --score helpfulness:0.8.. --since 7d

הוסף --json גלובלי לפני evals לאוטומציה, לדוגמה fp --json evals --aggregate --env production.

​

יעדי הערכה טובים

• השלמת משימה או נכונות
• עוגנות וסיכון הזיה
• בחירת כלים ויעילות כלים
• ציות למדיניות או תהליך
• תקציבי עלות והשהיה
• הסלמה אנושית נדרשת

​

מציון לתגובה