Kỹ năng Failproof AI Observability Evaluator Agent

​

Phần khó là quyết định cái gì cần chấm điểm

​

Nó liên quan như thế nào với những phần evaluation khác

​

so với CLI skill: xây dựng versus đọc

• agenteye-evaluator (tài liệu này) xây dựng thứ tạo ra điểm. Công việc của nó kết thúc khi điểm xuất hiện lần đầu tiên.
• agenteye-cli đọc điểm đã tồn tại (agenteye evals). “Chất lượng có giảm tuần này không?” là câu hỏi của nó, không phải của kỹ năng này.

​

Điều kiện tiên quyết

1. agenteye CLI được cài đặt và đăng nhập (pipx install agenteye, sau đó agenteye login). Kỹ năng dựa vào nó hai lần: để kéo các phiên thực tế nó thiết kế cho, và để xác nhận điểm của bạn xuất hiện ở cuối. Đăng nhập của bạn cần events:read, cộng với evaluations:read để kiểm tra cuối cùng đó. Giống như CLI skill, nó không thể hoàn thành đăng nhập mã một lần qua email cho bạn.
2. Một nơi cho evaluator ở. Nó được xây dựng thành một image và chạy như một dịch vụ chạy liên tục, vì vậy nó cần một repo thực, không phải một tệp tạm thời. Các evaluator thường sống trong repo riêng của chúng, tách biệt với agent đang được chấm điểm — kỹ năng tìm kiếm một cái hiện có và hỏi trước khi tạo cái mới.
3. Wheel SDK agenteye-evaluator — đọc phần tiếp theo trước khi agent của bạn bắt đầu gõ lệnh pip.

​

Nơi lấy nó

​

Cài đặt kỹ năng

# Claude Code, dự án này chỉ
npx skills add FailproofAI/skills --skill agenteye-evaluator -a claude-code

# mọi dự án (cài đặt vào ~/.claude/skills/)
npx skills add FailproofAI/skills --skill agenteye-evaluator -a claude-code -g --copy

# Codex thay vào đó
npx skills add FailproofAI/skills --skill agenteye-evaluator -a codex

npx skills list -a claude-code           # cái gì được cài đặt
npx skills update agenteye-evaluator     # kéo phiên bản mới nhất
npx skills remove agenteye-evaluator     # xóa nó

• Claude Code: đặt thư mục agenteye-evaluator/ trong ~/.claude/skills/ (mọi dự án) hoặc <your-repo>/.claude/skills/ (chỉ repo đó). Claude Code tự khám phá nó — xác minh bằng danh sách /skills, hoặc chỉ cần hỏi về evals.
• Codex (OpenAI): Codex đọc cùng một SKILL.md. agents/openai.yaml được đi kèm đặt allow_implicit_invocation: true, vì vậy Codex tự chọn kỹ năng khi một tác vụ phù hợp; nếu không hãy gọi nó rõ ràng như $agenteye-evaluator.

​

SDK không nằm trên public PyPI công khai

Cảnh báo: Đọc điều này trước khi để agent cài đặt SDK.

​

Những gì bạn có thể hỏi nó

bạn   ▸ Tôi muốn evals cho support bot của chúng tôi. Tôi nghĩ
        nó đôi khi có vấn đề.

agent ▸ Trước khi tôi viết bất cứ thứ gì: mô tả một lần chạy
        diễn ra tốt, và một lần chạy diễn ra xấu.

bạn   ▸ Tốt: nó trả lời từ các tài liệu. Xấu: nó bịa chuyện,
        hoặc từ bỏ và nói "liên hệ hỗ trợ".

agent ▸ Chạy: agenteye --json sessions --status error --since 7d
        Đọc 5 phiên, bao gồm hai bạn gọi là xấu.

        Lời của bạn nói tính thực tế và sự chối từ. Các transcript
        đồng ý về sự chối từ (2 trong 5 kết thúc bằng một tay qua
        hỗ trợ, và nó rõ ràng trong model_response.content), nhưng
        tính thực tế cần một sự thật mặt đất mà sự kiện của bạn
        không mang theo.

        Vì vậy tôi sẽ chấm ba điều:
          - deflection      quy tắc, rẻ, tách hai lần chạy của bạn
          - tool_efficiency quy tắc, bắt vòng lặp lại trong run-004
          - groundedness    LLM judge: mỗi yêu cầu trong tài liệu
                            nó lấy lại đều có trong tài liệu?

        "factuality" sẽ cần một sự thật mặt đất mà chúng tôi
        không có; groundedness là thứ gần nhất mà transcript của
        bạn thực sự có thể hỗ trợ. OK với ba tên đó? Đổi tên
        sau này sẽ tách lịch sử.

bạn   ▸ có

agent ▸ Không có evaluator trong repo này. Tôi có nên tạo một ở
        đây, hay bạn có một ở nơi khác?

​

Những gì cần chú ý

• Tên chiều gần như vĩnh viễn. Các khóa điểm là các chuỗi tuỳ ý và nền tảng xu hướng bất cứ thứ gì bạn gửi, có nghĩa là không có gì hạ lưu sửa một lựa chọn xấu. Đổi tên sau và lịch sử bị tách: các phiên cũ giữ khóa cũ và xu hướng bị ngắt. Đó là lý do tại sao kỹ năng nhận ký duyệt rõ ràng trước khi viết mã — hãy xem xét lời nhắc đó một cách nghiêm túc.
• Fixture là các transcript sản xuất thực tế. Thiết kế dựa trên các phiên thực tế có nghĩa là kéo chúng xuống đĩa, và chúng có thể chứa dữ liệu khách hàng. Kỹ năng hỏi trước khi commit chúng vào git; nếu không chắc chắn, giữ fixtures/ ngoài repo và để mỗi nhà phát triển kéo riêng của họ.
• Agent viết và triển khai một dịch vụ đọc mọi transcript. Nó hoạt động như bạn, giới hạn bởi quyền hạn đăng nhập CLI của bạn, nhưng xem xét evaluator như bất kỳ mã nào khác chạm vào dữ liệu sản xuất.

​

Bước tiếp theo

• Evaluation suite: HTTP contract, SDK, và server env vars mà kỹ năng cấu hình.
• Evaluations: nơi các điểm xuất hiện sau khi chúng xuất hiện.
• CLI skill: kỹ năng em gái, để đọc kết quả thay vì xây dựng scorer.
• CLI: tham chiếu lệnh đằng sau dữ liệu phiên mà kỹ năng thiết kế.