Модель данных
Event (Событие) Наименьшая единица данных. Одно событие записывает один шаг, который выполнил ваш агент:tool_use, model_request, hook_completed, error и так далее. Агент излучает события через Python SDK; они отображаются в реальном времени на странице Events.
Session (Сессия)
Один запуск агента, идентифицируемый session_id. Сессия — это все события, которые имеют этот идентификатор, объединённые в одну строку на странице Sessions и отображённые как граф выполнения на странице деталей. Сессия обычно начинается с agent_start и заканчивается agent_end.
Agent (Агент)
Именованный актор в рамках запуска, идентифицируемый agent_id. Запуск может включать несколько агентов: например, планировщик, который порождает суб-агента для суммирования. Суб-агенты содержат parent_id, что позволяет FailproofAI Observability отображать их на отдельных дорожках в графе выполнения.
Environment (Окружение)
Метка, указывающая на место выполнения: production, staging, dev. Вы устанавливаете её один раз при конфигурации SDK. Почти все страницы панели управления могут фильтроваться по окружению.
Context-window fill (Заполнение контекстного окна)
Процент контекстного окна модели, потреблённый ответом. FailproofAI Observability отмечает это на событиях model_response для известных моделей, поэтому рост промптов и предстоящее сжатие видны прямо в потоке событий.
Качество
Evaluation (Оценка) Оценка качества завершённой сессии, выданная сервисом оценки, который вы запускаете. Оценки опциональны: пока вы не подключите оценщик, сессии записываются, но не оцениваются. Каждая оценка может содержать несколько именованных баллов (напримерhelpfulness, factuality, tool_efficiency), каждый с кратким пояснением. См. Evaluation suite.
Score key (Ключ оценки)
Название одного измерения, которое сообщает оценщик, например helpfulness. Алерты и аудиты могут отслеживать конкретный ключ оценки во времени.
Evaluator (Оценщик)
Ваш сервис оценки. FailproofAI Observability отправляет стенограмму завершённого запуска в виде POST-запроса и сохраняет возвращаемые баллы. Встроенный оценщик не поставляется; логика оценки — это ваша ответственность.
Поиск и устранение сбоев
Hook (Крючок) Ограничение или побочный эффект, который ваша фреймворк агента выполняет вокруг шага: проверка контента, редакция PII, бюджетный контроль. Крючки излучают событияhook_triggered / hook_completed с outcome (allow, deny, modify) и имеют собственную страницу наблюдения.
Alert rule (Правило алерта)
Правило, которое срабатывает, когда метрика пересекает установленный вами порог: частота ошибок, p95 латентность, стоимость токенов или оценка оценщика. При срабатывании правила открывается инцидент и отправляются уведомления в выбранные вами каналы (email, Slack, webhook, в панели управления). См. Alerts.
Incident (Инцидент)
Открытая проблема, созданная при срабатывании правила алерта. Инциденты имеют жизненный цикл (подтверждение, назначение, разрешение) и временную шкалу активности, которая записывает каждое действие. Вы также можете открыть инцидент вручную.
Audit (Аудит)
Повторяющееся исследование (почасовое до еженедельного), которое анализирует ваши логи между сессиями в поиске паттернов отказов, для которых вы не написали правило: кластеры ошибок, низкие оценки, выбросы латентности, циклы вызовов инструментов и неполные запуски. Если алерт отслеживает метрику, о которой вы уже знаете, аудит показывает, на что стоит обратить внимание дальше. См. Audits.
Finding (Обнаружение)
Один ранжированный, подкреплённый доказательствами результат запуска аудита. Обнаружение называет паттерн, ссылается на точные сессии, стоящие за ним, и имеет жизненный цикл сортировки (подтверждение, разрешение, отключение, отклонение). FailproofAI Observability дедуплицирует обнаружения от запуска к запуску, поэтому известный паттерн обновляется вместо накопления.
The AI assistant (AI-ассистент)
Чат в панели управления, который отвечает на вопросы об агентах на простом английском языке, используя ваши собственные данные. По умолчанию имеет доступ только для чтения; всё, что он создаёт (сохранённый запрос, панель управления), проходит проверку одобрения, и он никогда не может удалять. См. AI assistant.
Запуск
Organization (tenant) (Организация) Изолированное рабочее пространство. Один экземпляр FailproofAI Observability может хостить множество организаций, каждая со своими пользователями, ключами и данными. Каждый URL панели управления находится в области действия вашего слага организации (/<org-slug>/…).
Collector (Сборщик)
agenteye-collector, лёгкий демон, который запускается на каждой машине агента, пакетирует события, которые SDK записывает на диск, и отправляет их на сервер.
API key (Ключ API)
Ограниченный по сфере применения токен, который аутентифицирует клиент на сервере. Ключи содержат детализированные разрешения (например events:add для сборщика, области только для чтения для ключа панели управления). См. API keys.
Server (Сервер)
Сервис приёма и API. Он принимает события, сохраняет операционное состояние в ваших базах данных и обслуживает панель управления и CLI.
Dashboard (Панель управления)
Веб-интерфейс. Каждая страница находится в области действия организации и читается через API сервера.
Следующие шаги
- Overview: как эти компоненты работают вместе.
- Observability: поверхности наблюдения (Events, Sessions, Models, Tools, Hooks, Errors).