Failproof AI Observability Python SDK Agent Skill

​

Instrumentation dễ viết nhưng dễ sai một cách câm lặng

​

Nó làm gì, theo thứ tự

1. Lập kế hoạch. Nó đọc vòng lặp agent của bạn và đặt hai câu hỏi chỉ bạn mới trả lời được: cái gì được coi là một lần chạy (của bạn session_id), và những tác nhân nào khác biệt (của bạn agent_id). Nó đạt được sự đồng ý trước khi viết mã, vì thay đổi chúng sau này sẽ chia tách lịch sử của bạn và phá vỡ xu hướng.
2. Viết. Nó liên kết danh tính một lần mỗi lần chạy thay vì chuyển nó qua mỗi call site, và nó chọn một hình dạng an toàn đồng thời — một chi tiết quan trọng, vì cách tắt hiển nhiên sẽ âm thầm trộn hai lần chạy chồng chéo thành một phiên.
3. Xác minh. Nó chạy agent của bạn và đọc các tệp sự kiện kết quả, kiểm tra xem agent_start có hiện diện, môi trường có đúng, và một lần chạy có tạo một phiên.

​

Nó liên quan như thế nào với các skill khác

​

Điều kiện tiên quyết

1. Python 3.10+ và codebase agent bạn muốn đặt instrumentation.
2. SDK. Nó được phân phối cho khách hàng dưới dạng wheel riêng tư chứ không phải từ chỉ mục công cộng — onboarding của bạn sẽ bao gồm cách lấy và cài đặt nó. Skill biết đường dẫn cài đặt và sẽ hỏi bạn thay vì đoán nếu nó không thể tìm thấy nó.
3. Không gì khác. Không cần đăng nhập bảng điều khiển, không cần khóa API, không cần mạng. Skill xác minh dựa trên các tệp sự kiện mà SDK viết, vì vậy nó có thể hoàn thành và chứng minh công việc của nó ngoại tuyến.

​

Lấy nó ở đâu

npx skills add FailproofAI/skills --skill agenteye-python-sdk -a claude-code

​

Cài đặt thủ công

• Claude Code: sao chép thư mục agenteye-python-sdk/ vào ~/.claude/skills/ (mọi dự án) hoặc <your-repo>/.claude/skills/ (chỉ repo đó). Claude Code tự động phát hiện nó — kiểm tra danh sách /skills, hoặc chỉ cần hỏi điều gì phù hợp với nó.
• Codex: Codex đọc cùng một SKILL.md. agents/openai.yaml được đóng gói thiết lập allow_implicit_invocation: true, vì vậy nó được tự động chọn khi tác vụ phù hợp; nếu không thì gọi nó là $agenteye-python-sdk.

​

Một phiên trông như thế nào

you   ▸ Add Failproof AI Observability to this agent.

agent ▸ Read your loop — one tool dispatcher in tools.py, one Anthropic
        wrapper in llm.py. Two questions before I write anything.

        What counts as one run? You handle requests concurrently, so I'd
        use the request id you already have in ctx.request_id — then a
        session here and a request in your logs are the same string.

        And who are the actors? I see a planner path and a researcher
        path. Label them separately, or is that one agent to you?

you   ▸ Request id is right. They're one agent, call it "assistant".

agent ▸ Done. Wrapped the dispatcher and the LLM client; agent_start and
        agent_end bracket handle_request, including the error path. Used
        a context-local for identity — your dispatcher runs tools in a
        thread pool, and the simpler approach would have mixed concurrent
        runs into one session without complaining.

        Verified against a real run: 11 events across 4 files —
        agent_start, model_request/response, tool_use/tool_result x3,
        agent_end (outcome=success). environment=production, one session
        per request, durations paired.

        One thing I did NOT do: your worker pool in batch.py submits
        straight to the executor, so events from there would be dropped.
        Want me to fix those too?

​

Bạn có thể yêu cầu nó làm gì

• “Tại sao agent của tôi không hiện lên trên bảng điều khiển?” → đi theo từng bước: các sự kiện có được viết không, agent_start có ở đó không, môi trường có đúng không, collector có đang đọc cùng một nơi không.
• “Mọi thứ đang hạ cánh dưới dev.” → môi trường không bao giờ được thiết lập, hoặc được đặt lại bởi một lệnh gọi sau.
• “Thêm theo dõi token.” → tìm trình bao bọc LLM của bạn và ghi lại mô hình, lý do dừng, và cách sử dụng.
• “Đặt instrumentation cho các sub-agent.” → một phiên, nhãn agent riêng biệt, lồng dưới phần tử cha của chúng.
• “Viết bài kiểm tra cho instrumentation.” → chỉ SDK vào một thư mục tạm thời và khẳng định các sự kiện nó đã viết.

​

Điều cần chú ý

​

Bước tiếp theo

• Python SDK: tài liệu tham khảo sự kiện hoàn chỉnh — mỗi loại sự kiện và trường — đằng sau những gì skill này tự động hóa.
• Sessions: những gì instrumentation của bạn tạo ra khi các sự kiện hạ cánh.
• Evaluator Agent Skill: bước tiếp theo sau khi các lần chạy hạ cánh — đánh điểm chúng.
• CLI Agent Skill: đọc telemetry của bạn lại.