Evaluations

​

title: “ऑनलाइन मूल्यांकन” description: “गुणवत्ता, अनुपालन, लागत और विलंबता के लिए लाइव और पूर्ण सत्रों को स्कोर करें।” icon: “gauge”

​

मूल्यांकन गुणवत्ता की समीक्षा करें

• Dashboard
• CLI

1. Observe → Evaluations पर जाएं।
2. एक श्रृंखला जोड़ें और एजेंट, वातावरण, मूल्यांकन स्कोर, सांख्यिकी और वक्र चुनें।
3. वातावरण, एजेंट या स्कोर कुंजियों की तुलना करने के लिए श्रृंखला जोड़ें।
4. मिलते-जुलते सत्रों को खोलने या फ़िल्टर किए गए दृश्य को साझा करने के लिए एक परिणाम चुनें। विलंबता, टोकन, लागत और अन्य परिमाण मानों के लिए Observe → Metrics का उपयोग करें।

ड्रिल-डाउन से एक सत्र खोलें ताकि इसके प्रति-स्कोर तर्क का निरीक्षण किया जा सके:

fp evals --agent-id checkout-agent --aggregate
fp evals --aggregate --env production --status error
fp evals --score helpfulness:0.8.. --since 7d

ऑटोमेशन के लिए evals से पहले वैश्विक --json जोड़ें, उदाहरण के लिए fp --json evals --aggregate --env production।

​

अच्छे मूल्यांकन लक्ष्य

• कार्य पूर्णता या सटीकता
• आधार संबंधितता और भ्रम का जोखिम
• उपकरण चयन और उपकरण दक्षता
• नीति या प्रक्रिया अनुपालन
• लागत और विलंबता बजट
• आवश्यक मानव एस्केलेशन

​

स्कोर से प्रतिक्रिया तक