Evaluations

​

title: “التقييمات المباشرة” description: “قيّم الجلسات المباشرة والمكتملة من حيث الجودة والامتثال والتكلفة والكمون.” icon: “gauge”

​

مراجعة جودة التقييم

• لوحة التحكم
• CLI

1. انتقل إلى Observe → Evaluations.
2. أضف سلسلة واختر الوكيل والبيئة ودرجة التقييم والإحصائية والمنحنى.
3. أضف سلسلًا لمقارنة البيئات أو الوكلاء أو مفاتيح الدرجات.
4. حدد النتيجة لفتح الجلسات المطابقة أو مشاركة العرض المُرشح. استخدم Observe → Metrics للكمون والرموز والتكلفة وقيم الحجم الأخرى.

افتح جلسة من التنقيب لفحص الاستدلال لكل درجة:

fp evals --agent-id checkout-agent --aggregate
fp evals --aggregate --env production --status error
fp evals --score helpfulness:0.8.. --since 7d

أضف --json عام قبل evals للأتمتة، على سبيل المثال fp --json evals --aggregate --env production.

​

أهداف التقييم الجيدة

• إكمال المهمة أو الصحة
• التأصيل وخطر الهلوسة
• اختيار الأداة وكفاءة الأداة
• امتثال السياسة أو العملية
• ميزانيات التكلفة والكمون
• تصعيد بشري مطلوب

​

من الدرجة إلى الاستجابة