Compétence Agent Python SDK Failproof AI Observability

​

L’instrumentation est facile à écrire et facile à rater silencieusement

​

Ce qu’elle fait, dans l’ordre

1. Planifier. Elle lit votre boucle d’agent et pose les deux questions auxquelles vous seul pouvez répondre : ce qui constitue une exécution (votre session_id), et qui sont les acteurs distinguables (votre agent_id). Elle obtient ces réponses avant d’écrire du code, car les modifier plus tard fragmente votre historique et brise les tendances.
2. Écrire. Elle lie l’identité une seule fois par exécution plutôt que de la propager à travers chaque point d’appel, et elle choisit une forme adaptée à la concurrence — un détail qui compte, car le raccourci évident mélange silencieusement deux exécutions simultanées en une seule session.
3. Vérifier. Elle exécute votre agent et lit les fichiers d’événements résultants, en vérifiant que agent_start est présent, que l’environnement est correct et qu’une exécution a produit une seule session.

​

Son rapport aux autres compétences

​

Prérequis

1. Python 3.10+ et le code de l’agent que vous souhaitez instrumenter.
2. Le SDK. Il est distribué aux clients sous forme de wheel privé plutôt que depuis un index public — votre processus d’intégration explique comment l’obtenir et l’installer. La compétence connaît le chemin d’installation et vous demandera plutôt que de deviner si elle ne le trouve pas.
3. Rien d’autre. Pas de connexion au tableau de bord, pas de clé API, pas de réseau. La compétence vérifie à partir des fichiers d’événements écrits par le SDK, elle peut donc terminer et prouver son travail hors ligne.

​

Où l’obtenir

npx skills add FailproofAI/skills --skill agenteye-python-sdk -a claude-code

​

Installation manuelle

• Claude Code : copiez le dossier agenteye-python-sdk/ dans ~/.claude/skills/ (tous les projets) ou <votre-dépôt>/.claude/skills/ (ce dépôt uniquement). Claude Code le découvre automatiquement — vérifiez la liste /skills, ou demandez simplement quelque chose qui y correspond.
• Codex : Codex lit le même SKILL.md. Le fichier agents/openai.yaml inclus définit allow_implicit_invocation: true, il est donc sélectionné automatiquement quand une tâche correspond ; sinon, invoquez-le comme $agenteye-python-sdk.

​

À quoi ressemble une session

vous  ▸ Add Failproof AI Observability to this agent.

agent ▸ Read your loop — one tool dispatcher in tools.py, one Anthropic
        wrapper in llm.py. Two questions before I write anything.

        What counts as one run? You handle requests concurrently, so I'd
        use the request id you already have in ctx.request_id — then a
        session here and a request in your logs are the same string.

        And who are the actors? I see a planner path and a researcher
        path. Label them separately, or is that one agent to you?

vous  ▸ Request id is right. They're one agent, call it "assistant".

agent ▸ Done. Wrapped the dispatcher and the LLM client; agent_start and
        agent_end bracket handle_request, including the error path. Used
        a context-local for identity — your dispatcher runs tools in a
        thread pool, and the simpler approach would have mixed concurrent
        runs into one session without complaining.

        Verified against a real run: 11 events across 4 files —
        agent_start, model_request/response, tool_use/tool_result x3,
        agent_end (outcome=success). environment=production, one session
        per request, durations paired.

        One thing I did NOT do: your worker pool in batch.py submits
        straight to the executor, so events from there would be dropped.
        Want me to fix those too?

​

Ce que vous pouvez lui demander

• « Pourquoi mon agent n’apparaît pas sur le tableau de bord ? » → remonte la chaîne : les événements sont-ils écrits, agent_start est-il présent, l’environnement est-il correct, le collecteur lit-il au même endroit.
• « Tout atterrit sous dev. » → l’environnement n’a jamais été défini, ou a été réinitialisé par un appel ultérieur.
• « Ajoute le suivi des tokens. » → trouve votre wrapper LLM et enregistre le modèle, la raison d’arrêt et l’utilisation.
• « Instrumente aussi les sous-agents. » → une session, des étiquettes d’agent distinctes, imbriqués sous leur parent.
• « Écris des tests pour l’instrumentation. » → pointe le SDK vers un répertoire temporaire et effectue des assertions sur les événements écrits.

​

Points de vigilance

​

Prochaines étapes

• Python SDK : la référence complète des événements — chaque type d’événement et chaque champ — qui sous-tend ce que cette compétence automatise.
• Sessions : ce que produit votre instrumentation une fois les événements reçus.
• Agent Skill Evaluator : la prochaine étape une fois que les exécutions arrivent — les noter.
• Agent Skill CLI : relire votre télémétrie.