Failproof AI Observability Python SDK Agent Skill

​

Инструментировка легко написать и легко сделать неправильно незаметно

​

Что она делает, по порядку

1. План. Он читает цикл вашего агента и задаёт два вопроса, на которые может ответить только вы: что считается одним запуском (ваш session_id) и кто различимые участники (ваш agent_id). Он получает согласие перед написанием кода, потому что изменение их позже разделяет вашу историю и ломает тренды.
2. Написать. Он связывает идентичность один раз за запуск, а не проводит её через каждый вызов, и выбирает форму, безопасную для одновременности — деталь, которая имеет значение, потому что очевидный ярлык молча смешивает два перекрывающихся запуска в одну сессию.
3. Проверить. Он запускает ваш агент и читает полученные файлы событий, проверяя наличие agent_start, правильность окружения и то, что один запуск произвёл одну сессию.

​

Как это соотносится с другими skills

​

Предусловия

1. Python 3.10+ и кодовая база агента, которую вы хотите инструментировать.
2. SDK. Он распространяется среди клиентов как приватное колесо вместо общедоступного индекса — ваш онбординг охватывает как его получить и установить. Skill знает путь установки и попросит вас, если не сможет его найти.
3. Ничего больше. Нет входа на панель, нет API ключа, нет сети. Skill проверяет по файлам событий, которые пишет SDK, поэтому может завершиться и доказать свою работу оффлайн.

​

Где его получить

npx skills add FailproofAI/skills --skill agenteye-python-sdk -a claude-code

​

Установка вручную

• Claude Code: скопируйте папку agenteye-python-sdk/ в ~/.claude/skills/ (каждый проект) или <your-repo>/.claude/skills/ (только этот репо). Claude Code автоматически её обнаружит — проверьте список /skills или просто спросите что-нибудь, что на неё совпадает.
• Codex: Codex читает то же самое SKILL.md. Bundled agents/openai.yaml устанавливает allow_implicit_invocation: true, поэтому она автоматически выбирается при совпадении задачи; иначе вызовите как $agenteye-python-sdk.

​

Как выглядит сессия

you   ▸ Add Failproof AI Observability to this agent.

agent ▸ Read your loop — one tool dispatcher in tools.py, one Anthropic
        wrapper in llm.py. Two questions before I write anything.

        What counts as one run? You handle requests concurrently, so I'd
        use the request id you already have in ctx.request_id — then a
        session here and a request in your logs are the same string.

        And who are the actors? I see a planner path and a researcher
        path. Label them separately, or is that one agent to you?

you   ▸ Request id is right. They're one agent, call it "assistant".

agent ▸ Done. Wrapped the dispatcher and the LLM client; agent_start and
        agent_end bracket handle_request, including the error path. Used
        a context-local for identity — your dispatcher runs tools in a
        thread pool, and the simpler approach would have mixed concurrent
        runs into one session without complaining.

        Verified against a real run: 11 events across 4 files —
        agent_start, model_request/response, tool_use/tool_result x3,
        agent_end (outcome=success). environment=production, one session
        per request, durations paired.

        One thing I did NOT do: your worker pool in batch.py submits
        straight to the executor, so events from there would be dropped.
        Want me to fix those too?

​

Что вы можете у неё спросить

• “Почему мой агент не показывается на панели?” → прочитает лестницу: записываются ли события, есть ли там agent_start, правильно ли окружение, читает ли сборщик из того же места.
• “Всё приходит под dev.” → окружение никогда не было установлено, или было сброшено позже.
• “Добавь отслеживание токенов.” → находит ваш LLM wrapper и записывает модель, причину остановки и использование.
• “Инструментируй субагентов тоже.” → одна сессия, различные метки агентов, вложенные под своим родителем.
• “Напиши тесты для инструментировки.” → указывает SDK на временную директорию и проверяет события, которые она написала.

​

На что нужно обратить внимание

​

Следующие шаги

• Python SDK: полная справка по событиям — каждый тип события и поле — стоящая за этим что automation этого skill.
• Sessions: что производит ваша инструментировка как только события приходят.
• Evaluator Agent Skill: следующий шаг как только запуски приходят — их оценка.
• CLI Agent Skill: чтение вашей телеметрии обратно.