Python sdk skill

​

title: “Failproof AI Observability Python SDK Agent Skill” description: “Từ một agent không được đo lường đến các sự kiện bạn có thể nhìn thấy, với coding agent của bạn tìm ra các điểm đo lường, viết chúng và chứng minh rằng chúng đã được triển khai.”

​

Đo lường rất dễ viết và cũng rất dễ viết sai mà không ai nhận ra

​

Nó làm gì, theo thứ tự

1. Lên kế hoạch. Nó đọc vòng lặp agent của bạn và hỏi hai câu hỏi chỉ bạn mới trả lời được: những gì được tính là một lần chạy (của bạn session_id), và những actor nào khác biệt (của bạn agent_id). Nó đạt được sự đồng ý trước khi viết code, vì thay đổi chúng sau này sẽ chia lịch sử và phá vỡ xu hướng.
2. Viết. Nó gắn kết định danh một lần mỗi lần chạy thay vì truyền nó qua mỗi điểm gọi, và nó chọn một hình dạng an toàn với đồng thời — một chi tiết quan trọng, vì cách tắt rõ ràng sẽ im lặng trộn lẫn hai lần chạy chồng chéo vào một phiên.
3. Xác minh. Nó chạy agent của bạn và đọc các tệp sự kiện kết quả, kiểm tra xem agent_start có được trình bày, môi trường có đúng không, và một lần chạy tạo ra một phiên.

​

Nó liên quan như thế nào với các skill khác

​

Yêu cầu tiên quyết

1. Python 3.10+ và codebase agent mà bạn muốn đo lường.
2. SDK. Nó được phân phối cho khách hàng dưới dạng một wheel riêng tư thay vì từ một chỉ mục công khai — onboarding của bạn sẽ đề cập đến cách lấy nó và cài đặt nó. Skill biết đường dẫn cài đặt và sẽ hỏi bạn thay vì đoán nếu nó không thể tìm thấy nó.
3. Không có gì khác. Không có đăng nhập bảng điều khiển, không có khóa API, không có mạng. Skill xác minh dựa trên các tệp sự kiện mà SDK viết, vì vậy nó có thể hoàn thành và chứng minh công việc của nó ngoại tuyến.

​

Nơi lấy nó

npx skills add FailproofAI/skills --skill agenteye-python-sdk -a claude-code

​

Cài đặt nó bằng tay

• Claude Code: sao chép thư mục agenteye-python-sdk/ vào ~/.claude/skills/ (mỗi dự án) hoặc <your-repo>/.claude/skills/ (chỉ kho đó). Claude Code khám phá nó tự động — kiểm tra danh sách /skills, hoặc chỉ cần hỏi điều gì phù hợp với nó.
• Codex: Codex đọc cùng một SKILL.md. agents/openai.yaml được đóng gói đặt allow_implicit_invocation: true, vì vậy nó được tự động chọn khi một tác vụ phù hợp; nếu không, hãy gọi nó là $agenteye-python-sdk.

​

Một phiên trông như thế nào

bạn   ▸ Thêm Failproof AI Observability vào agent này.

agent ▸ Đọc vòng lặp của bạn — một bộ phân phối công cụ trong tools.py,
        một wrapper Anthropic trong llm.py. Hai câu hỏi trước khi tôi
        viết bất cứ điều gì.

        Những gì được tính là một lần chạy? Bạn xử lý các yêu cầu
        đồng thời, vì vậy tôi sẽ sử dụng id yêu cầu mà bạn đã có trong
        ctx.request_id — sau đó một phiên ở đây và một yêu cầu trong
        nhật ký của bạn là cùng một chuỗi.

        Và những actor nào? Tôi thấy một đường dẫn planner và một đường
        dẫn researcher. Gắn nhãn chúng riêng biệt, hay đó là một agent
        đối với bạn?

bạn   ▸ Id yêu cầu là đúng. Chúng là một agent, gọi nó là "assistant".

agent ▸ Xong. Wrapped bộ phân phối và khách hàng LLM; agent_start và
        agent_end đặt trong ngoặc handle_request, bao gồm đường dẫn lỗi.
        Sử dụng một context-local cho định danh — bộ phân phối của bạn
        chạy các công cụ trong một thread pool, và cách tiếp cận đơn
        giản hơn sẽ trộn lẫn các lần chạy đồng thời vào một phiên mà
        không phàn nàn.

        Xác minh dựa trên một lần chạy thực: 11 sự kiện trên 4 tệp —
        agent_start, model_request/response, tool_use/tool_result x3,
        agent_end (outcome=success). environment=production, một phiên
        cho mỗi yêu cầu, các khoảng thời gian được cặp.

        Một điều tôi KHÔNG làm: nhóm worker của bạn trong batch.py gửi
        trực tiếp đến executor, vì vậy các sự kiện từ đó sẽ bị bỏ im
        lặng. Bạn muốn tôi sửa những cái đó cũng?

​

Những gì bạn có thể hỏi nó

• “Tại sao agent của tôi không xuất hiện trên bảng điều khiển?” → hướng dẫn từng bước: các sự kiện có được viết không, agent_start có ở đó không, môi trường có đúng không, bộ sưu tập có đọc cùng một nơi không.
• “Mọi thứ đều đáp ứng dưới dev.” → môi trường chưa bao giờ được đặt, hoặc được đặt lại bởi một cuộc gọi sau.
• “Thêm theo dõi token.” → tìm wrapper LLM của bạn và ghi lại mô hình, lý do dừng và cách sử dụng.
• “Đo lường các sub-agent cũng vậy.” → một phiên, nhãn agent riêng biệt, lồng dưới phần cha của chúng.
• “Viết các bài kiểm tra cho đo lường.” → hướng dẫn SDK đến một thư mục tạm thời và khẳng định trên các sự kiện nó đã viết.

​

Những gì cần cẩn thận

​

Các bước tiếp theo

• Python SDK: tham chiếu sự kiện hoàn chỉnh — mỗi loại sự kiện và trường — đứng sau những gì skill này tự động hóa.
• Sessions: những gì đo lường của bạn tạo ra khi các sự kiện đáp ứng.
• Evaluator Agent Skill: bước tiếp theo khi các lần chạy đáp ứng — tính điểm chúng.
• CLI Agent Skill: đọc dữ liệu giám sát của bạn trở lại.