Failproof AI Observability Python SDK Agent Skill

​

Instrumentierung ist leicht zu schreiben – und leicht, sie stillschweigend falsch zu machen

​

Was der Skill tut – in der Reihenfolge

1. Planen. Er liest Ihre Agentenschleife und stellt die zwei Fragen, die nur Sie beantworten können: Was gilt als ein einziger Run (Ihre session_id) und wer sind die unterscheidbaren Akteure (Ihre agent_id)? Diese Fragen werden geklärt, bevor Code geschrieben wird – denn eine spätere Umbenennung teilt Ihren Verlauf und bricht die Trends.
2. Schreiben. Er bindet die Identität einmal pro Run statt sie durch jede Aufrufstelle durchzufädeln, und wählt eine nebenläufigkeitssichere Form – ein Detail, das wichtig ist, weil die naheliegende Abkürzung zwei gleichzeitige Runs stillschweigend in eine Session mischt.
3. Verifizieren. Er führt Ihren Agenten aus und liest die resultierenden Event-Dateien, prüft, ob agent_start vorhanden ist, ob das Environment stimmt und ob ein Run genau eine Session erzeugt hat.

​

Verhältnis zu den anderen Skills

​

Voraussetzungen

1. Python 3.10+ und die Codebase des Agenten, den Sie instrumentieren möchten.
2. Das SDK. Es wird Kunden als privates Wheel und nicht über einen öffentlichen Index bereitgestellt – Ihr Onboarding erklärt, wie Sie es erhalten und installieren. Der Skill kennt den Installationspfad und fragt Sie, statt zu raten, falls er ihn nicht findet.
3. Nichts sonst. Kein Dashboard-Login, kein API-Key, kein Netzwerk. Der Skill verifiziert anhand der Event-Dateien, die das SDK schreibt, und kann seine Arbeit vollständig offline abschließen und beweisen.

​

Bezugsquelle

npx skills add FailproofAI/skills --skill agenteye-python-sdk -a claude-code

​

Manuelle Installation

• Claude Code: Kopieren Sie den Ordner agenteye-python-sdk/ in ~/.claude/skills/ (alle Projekte) oder <ihr-repo>/.claude/skills/ (nur dieses Repo). Claude Code erkennt ihn automatisch – prüfen Sie die /skills-Liste oder fragen Sie einfach etwas, das dazu passt.
• Codex: Codex liest dieselbe SKILL.md. Die mitgelieferte agents/openai.yaml setzt allow_implicit_invocation: true, sodass er automatisch ausgewählt wird, wenn eine Aufgabe passt; andernfalls rufen Sie ihn als $agenteye-python-sdk auf.

​

Wie eine Session aussieht

you   ▸ Add Failproof AI Observability to this agent.

agent ▸ Read your loop — one tool dispatcher in tools.py, one Anthropic
        wrapper in llm.py. Two questions before I write anything.

        What counts as one run? You handle requests concurrently, so I'd
        use the request id you already have in ctx.request_id — then a
        session here and a request in your logs are the same string.

        And who are the actors? I see a planner path and a researcher
        path. Label them separately, or is that one agent to you?

you   ▸ Request id is right. They're one agent, call it "assistant".

agent ▸ Done. Wrapped the dispatcher and the LLM client; agent_start and
        agent_end bracket handle_request, including the error path. Used
        a context-local for identity — your dispatcher runs tools in a
        thread pool, and the simpler approach would have mixed concurrent
        runs into one session without complaining.

        Verified against a real run: 11 events across 4 files —
        agent_start, model_request/response, tool_use/tool_result x3,
        agent_end (outcome=success). environment=production, one session
        per request, durations paired.

        One thing I did NOT do: your worker pool in batch.py submits
        straight to the executor, so events from there would be dropped.
        Want me to fix those too?

​

Was Sie ihn fragen können

• „Warum erscheint mein Agent nicht im Dashboard?” → Geht die Leiter ab: Werden Events geschrieben, ist agent_start vorhanden, stimmt das Environment, liest der Collector vom gleichen Ort?
• „Alles landet unter dev.” → Das Environment wurde nie gesetzt oder durch einen späteren Aufruf zurückgesetzt.
• „Token-Tracking hinzufügen.” → Findet Ihren LLM-Wrapper und erfasst Modell, Stop-Grund und Nutzung.
• „Auch die Sub-Agenten instrumentieren.” → Eine Session, unterschiedliche Agent-Labels, verschachtelt unter dem übergeordneten Agenten.
• „Tests für die Instrumentierung schreiben.” → Zeigt das SDK auf ein temporäres Verzeichnis und prüft die geschriebenen Events.

​

Worauf Sie achten sollten

​

Nächste Schritte

• Python SDK: Die vollständige Event-Referenz – jeder Event-Typ und jedes Feld – hinter dem, was dieser Skill automatisiert.
• Sessions: Was Ihre Instrumentierung erzeugt, sobald Events ankommen.
• Evaluator Agent Skill: Der nächste Schritt, sobald Runs ankommen – sie bewerten.
• CLI Agent Skill: Ihre Telemetrie zurücklesen.