Kỹ năng Agent Đánh giá Khả quan sát của Failproof AI

​

Phần khó là quyết định những gì cần chấm điểm

​

Nó liên quan như thế nào đến các phần đánh giá khác

​

vs. kỹ năng CLI: xây dựng so với đọc

• agenteye-evaluator (tài liệu này) xây dựng thứ tạo ra các điểm chấm. Công việc của nó kết thúc khi các điểm chấm hạ cánh lần đầu tiên.
• agenteye-cli đọc các điểm chấm đã tồn tại (agenteye evals). “Chất lượng có giảm tuần này không?” là câu hỏi của nó, không phải của kỹ năng này.

​

Điều kiện tiên quyết

1. agenteye CLI được cài đặt và đăng nhập (pipx install agenteye, rồi agenteye login). Kỹ năng dựa vào nó hai lần: để kéo các phiên thực tế nó thiết kế từ đó, và để xác nhận các điểm chấm của bạn hạ cánh ở cuối. Đăng nhập của bạn cần events:read, cộng với evaluations:read cho lần kiểm tra cuối cùng đó. Giống như kỹ năng CLI, nó không thể hoàn thành đăng nhập mã một lần qua email cho bạn.
2. Nơi để bộ đánh giá được lưu trữ. Nó được xây dựng thành một hình ảnh và chạy dưới dạng một dịch vụ chạy lâu dài, vì vậy nó cần một kho thực tế, không phải một tệp tạm thời. Các bộ đánh giá thường sống trong kho riêng của chúng, tách biệt với agent đang được chấm điểm — kỹ năng tìm kiếm một cái hiện có và hỏi trước khi xây dựng một cái mới.
3. Bánh xe SDK agenteye-evaluator — hãy đọc phần tiếp theo trước khi agent của bạn bắt đầu gõ các lệnh pip.

​

Nơi để lấy nó

​

Cài đặt kỹ năng

# Claude Code, chỉ dự án này
npx skills add FailproofAI/skills --skill agenteye-evaluator -a claude-code

# mọi dự án (cài đặt vào ~/.claude/skills/)
npx skills add FailproofAI/skills --skill agenteye-evaluator -a claude-code -g --copy

# Codex thay thế
npx skills add FailproofAI/skills --skill agenteye-evaluator -a codex

npx skills list -a claude-code           # cái nào được cài đặt
npx skills update agenteye-evaluator     # kéo phiên bản mới nhất
npx skills remove agenteye-evaluator     # gỡ bỏ nó

• Claude Code: đặt thư mục agenteye-evaluator/ trong ~/.claude/skills/ (mọi dự án) hoặc <kho-của-bạn>/.claude/skills/ (chỉ kho đó). Claude Code tự động khám phá nó — xác minh với danh sách /skills, hoặc chỉ cần hỏi về evals.
• Codex (OpenAI): Codex đọc cùng một SKILL.md. agents/openai.yaml đi kèm đặt allow_implicit_invocation: true, vì vậy Codex tự động chọn kỹ năng khi một tác vụ khớp; nếu không hãy gọi nó rõ ràng là $agenteye-evaluator.

​

SDK không có trên PyPI công khai

Cảnh báo: Hãy đọc điều này trước khi để agent cài đặt SDK.

​

Những gì bạn có thể hỏi nó

bạn   ▸ Tôi muốn evals cho bot hỗ trợ của chúng tôi. Tôi nghĩ nó đôi khi có vấn đề.

agent ▸ Trước khi tôi viết bất cứ điều gì: mô tả một lần chạy diễn ra tốt,
        và một lần chạy diễn ra tệ.

bạn   ▸ Tốt: nó trả lời từ các tài liệu. Tệ: nó bịa ra,
        hoặc từ bỏ và nói "liên hệ hỗ trợ".

agent ▸ Chạy: agenteye --json sessions --status error --since 7d
        Đang đọc 5 phiên, bao gồm hai cái bạn gọi là tệ.

        Những lời của bạn nói về tính thực tế và tránh né. Các bản ghi
        đồng ý về tránh né (2 trong 5 kết thúc bằng chuyển giao hỗ trợ,
        và nó rõ ràng trong model_response.content), nhưng tính thực tế
        cần một sự thật cơ bản mà các sự kiện của bạn không mang.

        Vì vậy tôi sẽ chấm ba điều:
          - deflection      các quy tắc, rẻ, phân tách hai lần chạy của bạn
          - tool_efficiency các quy tắc, bắt vòng lặp thử lại trong chạy-004
          - groundedness    thẩm phán LLM: mỗi yêu cầu trong tài liệu nó truy xuất có đúng không?

        "tính thực tế" sẽ cần sự thật cơ bản mà chúng tôi không có; groundedness
        là thứ gần nhất mà các bản ghi của bạn thực sự có thể hỗ trợ.
        OK với ba tên đó? Đổi tên sau này sẽ chia cắt lịch sử.

bạn   ▸ có

agent ▸ Không có bộ đánh giá trong kho này. Tôi có nên xây dựng một ở đây, hay
        bạn có một cái khác?

​

Những gì cần chú ý

• Tên chiều gần như vĩnh viễn. Các khóa chấm điểm là những chuỗi tùy ý và nền tảng xu hướng bất kỳ cái nào bạn gửi, điều này có nghĩa là không có gì phía sau sửa một lựa chọn xấu. Đổi tên sau này và lịch sử bị chia cắt: các phiên cũ giữ khóa cũ và xu hướng bị phá vỡ. Đây là lý do tại sao kỹ năng nhận được phê duyệt rõ ràng trước khi viết mã — hãy xem xét lời nhắc đó một cách nghiêm túc.
• Fixtures là các bản ghi sản xuất thực tế. Thiết kế so với các phiên thực tế có nghĩa là kéo chúng xuống đĩa, và chúng có thể chứa dữ liệu khách hàng. Kỹ năng hỏi trước khi cam kết chúng vào git; nếu không chắc chắn, hãy giữ fixtures/ ngoài kho và để từng nhà phát triển kéo của riêng họ.
• Agent viết và triển khai một dịch vụ đọc mọi bản ghi. Nó hoạt động như bạn, bị giới hạn bởi các quyền đăng nhập CLI của bạn, nhưng hãy xem xét bộ đánh giá như bất kỳ mã nào khác chạm vào dữ liệu sản xuất.

​

Bước tiếp theo

• Evaluation suite: hợp đồng HTTP, SDK, và các biến env máy chủ mà kỹ năng cấu hình.
• Evaluations: nơi các điểm chấm xuất hiện một khi chúng hạ cánh.
• CLI skill: kỹ năng anh em, để đọc kết quả thay vì xây dựng bộ chấm điểm.
• CLI: tham chiếu lệnh phía sau dữ liệu phiên mà kỹ năng thiết kế từ đó.