Failproof AI Observability Evaluator Agent Skill

​

कठिन हिस्सा यह तय करना है कि क्या स्कोर करें

​

यह अन्य मूल्यांकन टुकड़ों से कैसे संबंधित है

​

CLI कौशल के मुकाबले: बनाम पढ़ना

• agenteye-evaluator (यह दस्तावेज़) वह चीज़ बनाता है जो स्कोर बनाती है। जब पहली बार स्कोर आते हैं तो इसका काम समाप्त हो जाता है।
• agenteye-cli पहले से मौजूद स्कोर को पढ़ता है (agenteye evals)। “क्या गुणवत्ता इस सप्ताह गिरी?” इसका सवाल है, इस कौशल का नहीं।

​

आवश्यकताएं

1. agenteye CLI स्थापित और लॉगिन किया हुआ (pipx install agenteye, फिर agenteye login)। कौशल इसे दो बार उपयोग करता है: वास्तविक सत्र खींचने के लिए जिसे यह डिज़ाइन करता है, और पुष्टि करने के लिए कि आपके स्कोर अंत में आ गए। आपके लॉगिन को events:read की आवश्यकता है, साथ ही उस अंतिम जांच के लिए evaluations:read। CLI कौशल की तरह, यह नहीं आपके लिए ईमेल किए गए एकबारी कोड लॉगिन को पूरा कर सकता।
2. मूल्यांकनकर्ता के लिए कहीं रहने के लिए। इसे एक छवि में बनाया जाता है और एक दीर्घकालिक सेवा के रूप में चलाया जाता है, इसलिए इसे एक वास्तविक रेपो की आवश्यकता है, एक स्क्रैच फ़ाइल नहीं। मूल्यांकनकर्ता अक्सर अपने स्वयं के रेपो में रहते हैं, स्कोर किए जा रहे एजेंट से अलग — कौशल एक मौजूदा को देखता है और एक नया स्कैफोल्ड करने से पहले पूछता है।
3. agenteye-evaluator SDK व्हील — अपने एजेंट को pip कमांड टाइप करना शुरू करने से पहले अगला सेक्शन पढ़ें।

​

इसे कहाँ से प्राप्त करें

​

कौशल को स्थापित करना

# Claude Code, this project only
npx skills add FailproofAI/skills --skill agenteye-evaluator -a claude-code

# every project (installs to ~/.claude/skills/)
npx skills add FailproofAI/skills --skill agenteye-evaluator -a claude-code -g --copy

# Codex instead
npx skills add FailproofAI/skills --skill agenteye-evaluator -a codex

npx skills list -a claude-code           # what's installed
npx skills update agenteye-evaluator     # pull the latest version
npx skills remove agenteye-evaluator     # remove it

• Claude Code: agenteye-evaluator/ फ़ोल्डर को ~/.claude/skills/ (हर प्रोजेक्ट) या <your-repo>/.claude/skills/ (केवल वह रेपो) में रखें। Claude Code इसे स्वचालित रूप से खोजता है — /skills सूची के साथ सत्यापित करें, या बस इवल्स के लिए पूछें।
• Codex (OpenAI): Codex एक ही SKILL.md को पढ़ता है। बंडल किया गया agents/openai.yaml allow_implicit_invocation: true सेट करता है, इसलिए Codex एक कार्य से मेल खाने पर कौशल को स्वचालित रूप से चुनता है; अन्यथा इसे $agenteye-evaluator के रूप में स्पष्ट रूप से लागू करें।

​

SDK सार्वजनिक PyPI पर नहीं है

Warning: एजेंट को SDK स्थापित करने देने से पहले इसे पढ़ें।

​

आप इससे क्या पूछ सकते हैं

you   ▸ I want evals for our support bot. I think it's sometimes bad.

agent ▸ Before I write anything: describe a run that went well,
        and one that went badly.

you   ▸ Good: it answers from the docs. Bad: it makes stuff up,
        or gives up and says "contact support".

agent ▸ Running: agenteye --json sessions --status error --since 7d
        Reading 5 sessions, including two you'd call bad.

        Your words say factuality and deflection. The transcripts
        agree on deflection (2 of 5 end with a support hand-off,
        and it's plain in model_response.content), but factuality
        needs a ground truth your events don't carry.

        So I'd score three things:
          - deflection      rules, cheap, separates your two runs
          - tool_efficiency rules, catches the retry loop in run-004
          - groundedness    LLM judge: is every claim in the docs it retrieved?

        "factuality" would need ground truth we don't have; groundedness
        is the closest thing your transcripts can actually support.
        OK with those three names? Renaming later splits the history.

you   ▸ yes

agent ▸ No evaluator in this repo. Should I scaffold one here, or do
        you have one elsewhere?

​

क्या देखना है

• आयाम नाम लगभग स्थायी हैं। स्कोर कुंजियां मनमानी स्ट्रिंग हैं और मंच जो कुछ भी आप भेजते हैं उसका रुझान रखता है, जिसका मतलब है कि कोई भी डाउनस्ट्रीम गलत विकल्प को सही नहीं करता है। बाद में नाम बदलें और इतिहास विभाजित होता है: पुरानी सत्र पुरानी कुंजी रखती हैं और प्रवृत्ति टूट जाती है। यह है क्यों कौशल कोड लिखने से पहले स्पष्ट हस्ताक्षर प्राप्त करता है — उस संकेत को गंभीरता से लें।
• Fixtures असली उत्पादन टेप हैं। वास्तविक सत्रों के विरुद्ध डिज़ाइन करने का मतलब है उन्हें डिस्क में खींचना, और उनमें ग्राहक डेटा हो सकता है। कौशल उन्हें git में प्रतिबद्ध करने से पहले पूछता है; यदि संदेह हो, तो fixtures/ को रेपो के बाहर रखें और हर डेवलपर को अपना खींचने दें।
• एजेंट लिखता है और एक सेवा को तैनात करता है जो हर टेप को पढ़ता है। यह आपके रूप में कार्य करता है, आपके CLI लॉगिन की अनुमतियों से सीमित, लेकिन उत्पादन डेटा को स्पर्श करने वाली किसी अन्य कोड की तरह मूल्यांकनकर्ता की समीक्षा करें।

​

अगले कदम

• Evaluation suite: HTTP अनुबंध, SDK, और कौशल को कॉन्फ़िगर करने वाले सर्वर पर्यावरण चर।
• Evaluations: जहां स्कोर एक बार आने पर दिखाई देते हैं।
• CLI skill: अन्य कौशल, परिणामों को पढ़ने के बजाय स्कोरर बनाने के लिए।
• CLI: कमांड संदर्भ जिसके पीछे कौशल डिज़ाइन करता है सत्र डेटा।