Evaluations

​

title: “التقييمات المباشرة” description: “قيّم الجلسات المباشرة والمكتملة من حيث الجودة والامتثال والتكلفة والكمون.” icon: “gauge”

​

مراجعة جودة التقييم

• لوحة المعلومات
• CLI

1. انتقل إلى Observe → Evaluations.
2. أضف سلسلة واختر الوكيل والبيئة ودرجة التقييم والإحصائية والمنحنى.
3. أضف سلاسل لمقارنة البيئات أو الوكلاء أو مفاتيح الدرجات.
4. اختر نتيجة لفتح الجلسات المطابقة أو شارك العرض المصفى. استخدم Observe → Metrics للحصول على قيم الكمون والرموز والتكلفة والقيم الأخرى.

افتح جلسة من التفصيل للتحقق من تفكيرها لكل درجة:

fp evals --agent-id checkout-agent --aggregate
fp evals --aggregate --env production --status error
fp evals --score helpfulness:0.8.. --since 7d

أضف --json العام قبل evals للأتمتة، على سبيل المثال fp --json evals --aggregate --env production.

​

أهداف التقييم الجيدة

• إكمال المهام أو صحتها
• التأسيس على الواقع ومخاطر الهلوسة
• اختيار الأداة وكفاءة الأداة
• الامتثال للسياسة أو العملية
• ميزانيات التكلفة والكمون
• تصعيد بشري مطلوب

​

من الدرجة إلى الاستجابة