Failproof AI Observability — это корпоративный продукт компании Failproof AI. Хотите увидеть его в действии? Запросите демонстрацию: напишите на nikita@befailproof.ai.
Посмотрите в действии
Два коротких видео показывают две вещи, на которые команды обращают внимание в первую очередь: трассировка запуска и автоматический поиск сбоев. Трассировка агента: следите за одним запуском шаг за шагом, от цели к инструментам и финальному ответу. Failproof Audit: позвольте Failproof AI Observability проанализировать ваши логи во всех сеансах и показать, что нужно исправить.Почему команды её используют
- Узнайте, что действительно делал ваш агент. Каждый запуск становится читаемым графом выполнения в стиле git: какие инструменты работали параллельно, какие под-агенты ветвились, где он зависал и что стоило.
- Автоматически ловите падение качества. Подключите небольшой сервис оценки, и Failproof AI Observability оценит каждый завершённый запуск, чтобы падение полезности или всплеск галлюцинаций стали очевидны.
- Найдите сбои, для которых вы не написали правила. Повторяющиеся аудиты анализируют ваши логи во всех сеансах в поиске кластеров ошибок, выбросов латентности, низких оценок и зависаний, а затем выдают вам ранжированные, подтвёрённые результаты.
- Получайте уведомления, когда это важно. Правила по порогам срабатывают на основе частоты ошибок, латентности, стоимости или оценок оценивателя и открывают инциденты, которые вы можете подтвердить, назначить и разрешить.
- Задавайте вопросы на обычном английском. AI-ассистент в панели управления ответит на вопросы вроде «как качество развивается в продакшене на этой неделе?» по вашим данным. Любое изменение требует одобрения.
- Держите ваши данные под контролем. Failproof AI Observability является самостоятельно размещаемым: события, промпты и аналитика остаются в инфраструктуре, которую вы контролируете.
Что вы получаете
Failproof AI Observability организована вокруг трёх концепций (observe, analyze и admin), отражённых в левой боковой панели панели управления. Observe (сырая правда о том, что произошло):- Поток событий: живая, пошаговая цепь всех запусков (вызовы инструментов, вызовы моделей, hooks, ошибки).
- Сеансы: эти события сведены в одну строку на запуск, каждый готов к оценке, с графом выполнения в стиле git.
- Метрики производительности: тепловые карты латентности для каждой поверхности и жизненно важные показатели p50/p95/p99 для моделей, инструментов и hooks, чтобы всплеск на хвосте выделялся из медианы.
- Отслеживание ошибок: единая поверхность для триажа всего, что пошло не так, в один клик от срабатывающего предупреждения.
- Запросы и панели управления: сохранённый SQL по вашим событиям и оценкам, представленный в виде общих, ориентированных на организацию панелей управления.
- Оценки: оценки качества, полученные от вашего собственного сервиса оценивателя, с рассуждением для каждой оценки.
- Аудиты: повторяющиеся исследования, выявляющие закономерности сбоев во всех сеансах.
- Предупреждения и инциденты: правила по порогам, которые вызывают уведомления, плюс рабочий процесс инцидентов для их триажа.
- CLI: управляйте всем развёртыванием из терминала или скрипта, и позвольте кодирующему агенту делать это за вас на обычном английском.
- AI-ассистент: задавайте вопросы о ваших агентах на обычном английском прямо в панели управления.
- REST API: всё, что делают панель управления и CLI, поддерживается REST API, который вы можете вызывать напрямую с помощью ограниченного API ключа — принимайте события, запрашивайте сеансы и оценки, управляйте панелями управления, предупреждениями, аудитами, пользователями и ключами, чтобы интегрировать Failproof AI Observability в свой инструментарий.
- API ключи: ограниченные токены для коллектора, панели управления и ассистента.
- Пользователи: вход без пароля на основе электронной почты с использованием списка разрешений.
- Параметры: конфигурация для каждой организации, включая переопределения размера контекстного окна модели.
Как всё взаимодействует
Данные движутся в одном направлении, от вашего кода агента к панели управления: ваш агент (через Python SDK) выпускает события в agenteye-collector, который отправляет их на сервер, который служит панелью управления. Два дополнительных сервиса завершают картину — сервис оценки (оценки) и сервис AI-ассистента (чат в панели управления).- Python SDK: вы добавляете несколько вызовов
agenteye.event.*в ваш агент; события буферизуются локально. - agenteye-collector: лёгкий демон на каждой машине с агентом, который группирует события и отправляет их на сервер.
- Сервер: принимает ваши события, хранит операционное состояние в ваших собственных базах данных и служит REST API, который используют панель управления, CLI и ваши собственные интеграции.
- Панель управления: где вы изучаете всё.
- Дополнительные сервисы: сервис оценки (оценки) и сервис AI-ассистента (чат в панели управления).
Получение Failproof AI Observability
Failproof AI Observability — это корпоративный продукт компании Failproof AI, и он работает вместе с Failproof AI Enforcement — продуктом политик и ограждений — под брендом Failproof AI. Он полностью работает в вашей среде. Если у вас ещё нет доступа к пакетам, запросите демонстрацию, и мы вас настроим: напишите на nikita@befailproof.ai.Следующие шаги
- Concepts: словарь Failproof AI Observability в одном месте.
- Observability: следите за тем, что делают ваши агенты, запуск за запуском.
- Security: как Failproof AI Observability держит ваши данные изолированными и под вашим контролем.