Evaluations

​

title: “הערכות מקוונות” description: “דרג סשנים חיים והשלומים לאיכות, עמידה בתקנות, עלות וזמן תגובה.” icon: “gauge”

​

בדוק את איכות ההערכה

• Dashboard
• CLI

1. עבור אל Observe → Evaluations.
2. הוסף סדרה ובחר את הסוכן, הסביבה, ציון ההערכה, הסטטיסטיקה והעקומה.
3. הוסף סדרות כדי להשוות בין סביבות, סוכנים או מפתחות ציון.
4. בחר בתוצאה כדי לפתוח סשנים תואמים או לשתף את התצוגה המסוננת. השתמש ב-Observe → Metrics לערכי זמן תגובה, אסימונים, עלות וערכי גודל אחרים.

פתח סשן מ-drill-down כדי לבדוק את הנמקתו לכל ציון:

fp evals --agent-id checkout-agent --aggregate
fp evals --aggregate --env production --status error
fp evals --score helpfulness:0.8.. --since 7d

הוסף --json גלובלי לפני evals לאוטומציה, לדוגמה fp --json evals --aggregate --env production.

​

יעדי הערכה טובים

• השלמת משימה או נכונות
• הנסקה מקורות והסיכון להלוציה
• בחירת כלים ויעילות כלים
• עמידה בתקנות או בתהליכים
• תקציבי עלות וזמן תגובה
• הסקלמציה אנושית נדרשת

​

מציון לתגובה