Failproof AI Observability Python SDK Agent Skill

​

Instrumentierung ist leicht zu schreiben – und leicht still falsch zu machen

​

Was der Skill tut – der Reihe nach

1. Planen. Er liest Ihre Agenten-Schleife und stellt die zwei Fragen, die nur Sie beantworten können: Was zählt als ein Lauf (Ihre session_id), und wer sind die unterscheidbaren Akteure (Ihre agent_id)? Das wird geklärt, bevor Code geschrieben wird – denn eine spätere Änderung spaltet Ihre Historie und bricht die Trends.
2. Schreiben. Er bindet die Identität einmal pro Lauf statt sie durch jede Aufrufstelle durchzufädeln, und wählt eine nebenläufigkeitssichere Form – ein Detail, das wichtig ist, weil die naheliegende Abkürzung zwei überlappende Läufe stillschweigend in einer einzigen Session vermischt.
3. Verifizieren. Er führt Ihren Agenten aus und liest die entstandenen Event-Dateien, prüft ob agent_start vorhanden ist, das Environment stimmt und ein Lauf genau eine Session erzeugt hat.

​

Verhältnis zu den anderen Skills

​

Voraussetzungen

1. Python 3.10+ und die Agenten-Codebasis, die Sie instrumentieren möchten.
2. Das SDK. Es wird an Kunden als privates Wheel ausgeliefert und nicht über einen öffentlichen Index – Ihr Onboarding erklärt, wie Sie es beziehen und installieren. Der Skill kennt den Installationspfad und fragt Sie, anstatt zu raten, falls er ihn nicht finden kann.
3. Nichts weiter. Kein Dashboard-Login, kein API-Key, kein Netzwerk. Der Skill verifiziert anhand der Event-Dateien, die das SDK schreibt, und kann seine Arbeit offline abschließen und beweisen.

​

Bezugsquelle

npx skills add FailproofAI/skills --skill agenteye-python-sdk -a claude-code

​

Manuelle Installation

• Claude Code: Kopieren Sie den Ordner agenteye-python-sdk/ nach ~/.claude/skills/ (alle Projekte) oder <Ihr-Repo>/.claude/skills/ (nur dieses Repo). Claude Code erkennt ihn automatisch – prüfen Sie die /skills-Liste oder fragen Sie einfach etwas, das dazu passt.
• Codex: Codex liest dieselbe SKILL.md. Das mitgelieferte agents/openai.yaml setzt allow_implicit_invocation: true, sodass er automatisch gewählt wird, wenn eine Aufgabe passt; andernfalls rufen Sie ihn als $agenteye-python-sdk auf.

​

Wie eine Session aussieht

you   ▸ Add Failproof AI Observability to this agent.

agent ▸ Read your loop — one tool dispatcher in tools.py, one Anthropic
        wrapper in llm.py. Two questions before I write anything.

        What counts as one run? You handle requests concurrently, so I'd
        use the request id you already have in ctx.request_id — then a
        session here and a request in your logs are the same string.

        And who are the actors? I see a planner path and a researcher
        path. Label them separately, or is that one agent to you?

you   ▸ Request id is right. They're one agent, call it "assistant".

agent ▸ Done. Wrapped the dispatcher and the LLM client; agent_start and
        agent_end bracket handle_request, including the error path. Used
        a context-local for identity — your dispatcher runs tools in a
        thread pool, and the simpler approach would have mixed concurrent
        runs into one session without complaining.

        Verified against a real run: 11 events across 4 files —
        agent_start, model_request/response, tool_use/tool_result x3,
        agent_end (outcome=success). environment=production, one session
        per request, durations paired.

        One thing I did NOT do: your worker pool in batch.py submits
        straight to the executor, so events from there would be dropped.
        Want me to fix those too?

​

Was Sie ihn fragen können

• „Warum erscheint mein Agent nicht im Dashboard?” → Geht die Leiter hinab: Werden Events geschrieben, ist agent_start vorhanden, stimmt das Environment, liest der Collector am richtigen Ort?
• „Alles landet unter dev.” → Das Environment wurde nie gesetzt oder durch einen späteren Aufruf zurückgesetzt.
• „Token-Tracking hinzufügen.” → Findet Ihren LLM-Wrapper und erfasst Modell, Stop-Grund und Nutzung.
• „Auch die Sub-Agenten instrumentieren.” → Eine Session, eindeutige Agenten-Labels, verschachtelt unter ihrem Elternteil.
• „Tests für die Instrumentierung schreiben.” → Zeigt das SDK auf ein temporäres Verzeichnis und macht Assertions auf die geschriebenen Events.

​

Worauf Sie achten sollten

​

Nächste Schritte

• Python SDK: Die vollständige Event-Referenz – jeder Event-Typ und jedes Feld – hinter dem, was dieser Skill automatisiert.
• Sessions: Was Ihre Instrumentierung produziert, sobald Events ankommen.
• Evaluator Agent Skill: Der nächste Schritt, sobald Läufe ankommen – ihre Bewertung.
• CLI Agent Skill: Ihre Telemetrie zurücklesen.