FailproofAI Observability — это корпоративный продукт от FailproofAI. Хотите увидеть его в действии? Запросите демонстрацию: напишите на nikita@befailproof.ai.
Посмотрите в действии
Два коротких видео демонстрируют две главные возможности, к которым обращаются команды: трассировка запуска и автоматический поиск сбоев. Трассировка агента: следите за каждым шагом одного запуска, от цели к инструментам и к финальному ответу. Failproof Audit: позволяйте FailproofAI Observability анализировать ваши логи в разных сессиях и подсказывать, что нужно исправить.Почему команды её используют
- Увидьте, что ваш агент действительно сделал. Каждый запуск становится читаемым графом выполнения в стиле git: какие инструменты запускались параллельно, какие подагенты ветвились, где произошла остановка и какие ресурсы были потрачены.
- Автоматически ловите регрессии качества. Подключите небольшой сервис скоринга, и FailproofAI Observability оценит каждый завершённый запуск, так что падение полезности или скачок галлюцинаций обнаружатся сами собой.
- Найдите сбои, на которые вы не написали правило. Повторяющиеся аудиты анализируют ваши логи во всех сессиях в поисках кластеров ошибок, выбросов задержки, низких оценок и зависших запусков, а затем выдают вам ранжированные, подкреплённые доказательствами результаты.
- Получайте уведомления, когда это важно. Правила на основе порогов срабатывают на частоте ошибок, задержке, стоимости или оценках оценивателя и создают инциденты, которые вы можете подтвердить, назначить и разрешить.
- Задавайте вопросы на обычном английском языке. Помощник AI в панели управления отвечает на вопросы вроде как меняется качество в production этой неделей? на основе ваших данных. Любое изменение, которое он вносит, требует утверждения.
- Сохраняйте ваши данные. FailproofAI Observability — это самостоятельное решение: события, промпты и аналитика остаются в инфраструктуре под вашим контролем.
Что вы получаете
FailproofAI Observability организована вокруг трёх идей (наблюдение, анализ и администрирование), отражённых в левой боковой панели панели управления. Observe (необработанная истина того, что произошло):- Event stream: живой, пошаговый журнал каждого запуска (вызовы инструментов, вызовы модели, hooks, ошибки).
- Sessions: эти события в свёрнутом виде, по одной строке на запуск, каждая готова к оценке, с графом выполнения в стиле git.
- Performance metrics: тепловые карты задержки и характеристики p50/p95/p99 для моделей, инструментов и hooks, чтобы скачок в хвосте выделялся из медианы.
- Error tracking: единая поверхность для всего, что пошло не так, в один клик от срабатывающего алерта.
- Queries и dashboards: сохранённые SQL-запросы к вашим событиям и оценкам, отображённые в общих, скопированные на уровень организации панелей управления.
- Evaluations: оценки качества, созданные вашим собственным сервисом оценивателя, с рассуждениями для каждой оценки.
- Audits: повторяющиеся исследования, которые выявляют закономерности сбоев в разных сессиях.
- Alerts и incidents: правила на основе порогов, которые вас уведомляют, плюс workflow инцидентов для их сортировки.
- CLI: управляйте всем развёртыванием из терминала или скрипта, и позволяйте агенту на основе кода делать это на обычном английском языке.
- AI assistant: задавайте вопросы об ваших агентах на обычном английском языке прямо в панели управления.
- API keys: scoped-токены для сборщика, панели управления и помощника.
- Users: вход без пароля на основе электронной почты с allowlist.
- Settings: конфигурация на уровне организации, включая переопределения размера контекстного окна модели.
Как всё взаимосвязано
Данные текут в одном направлении, от кода вашего агента к панели управления: ваш агент (через Python SDK) отправляет события в agenteye-collector, который отправляет их на сервер, который обслуживает панель управления. Два дополнительных сервиса дополняют его — сервис скоринга (evaluations) и сервис AI-помощника (чат в панели управления).- Python SDK: вы добавляете несколько вызовов
agenteye.event.*к вашему агенту; события буферизуются локально. - agenteye-collector: лёгкий демон на каждом компьютере агента, который группирует события и отправляет их на сервер.
- Server: принимает ваши события и хранит операционное состояние в ваших собственных базах данных.
- Dashboard: где вы исследуете всё.
- Optional services: сервис скоринга (evaluations) и сервис AI-помощника (чат в панели управления).
Получение FailproofAI Observability
FailproofAI Observability — это корпоративный продукт от FailproofAI, и он работает вместе с FailproofAI Enforcement — продуктом политики и guardrail — под брендом FailproofAI. Он работает полностью в вашей собственной среде. Если у вас ещё нет доступа к пакетам, запросите демонстрацию и мы вас настроим: напишите на nikita@befailproof.ai.Следующие шаги
- Concepts: словарь FailproofAI Observability в одном месте.
- Observability: следите за тем, что делают ваши агенты, запуск за запуском.
- Security: как FailproofAI Observability держит ваши данные изолированными и под вашим контролем.