Evaluations

​

title: “ऑनलाइन मूल्यांकन” description: “गुणवत्ता, अनुपालन, लागत और विलंबता के लिए लाइव और पूर्ण सत्रों को स्कोर करें।” icon: “gauge”

​

मूल्यांकन गुणवत्ता की समीक्षा करें

• Dashboard
• CLI

1. Observe → Evaluations पर जाएं।
2. एक श्रृंखला जोड़ें और एजेंट, पर्यावरण, मूल्यांकन स्कोर, सांख्यिकी और वक्र चुनें।
3. पर्यावरण, एजेंट या स्कोर कुंजियों की तुलना करने के लिए श्रृंखला जोड़ें।
4. मिलान करने वाले सत्रों को खोलने या फ़िल्ट किए गए दृश्य को साझा करने के लिए एक परिणाम चुनें। विलंबता, टोकन, लागत और अन्य परिमाण मानों के लिए Observe → Metrics का उपयोग करें।

प्रति-स्कोर तर्क का निरीक्षण करने के लिए ड्रिल-डाउन से एक सत्र खोलें:

fp evals --agent-id checkout-agent --aggregate
fp evals --aggregate --env production --status error
fp evals --score helpfulness:0.8.. --since 7d

स्वचालन के लिए evals से पहले वैश्विक --json जोड़ें, उदाहरण के लिए fp --json evals --aggregate --env production।

​

अच्छे मूल्यांकन लक्ष्य

• कार्य पूर्णता या शुद्धता
• आधारहीनता और मतिभ्रम जोखिम
• उपकरण चयन और उपकरण दक्षता
• नीति या प्रक्रिया अनुपालन
• लागत और विलंबता बजट
• आवश्यक मानव एस्केलेशन

​

स्कोर से प्रतिक्रिया तक