Модель данных
Event (событие) Наименьшая единица данных. Одно событие записывает один шаг, который выполнил ваш агент:tool_use, model_request, hook_completed, error и т. д. Ваш агент генерирует события через Python SDK; они отображаются в реальном времени на странице Events (события).
Session (сеанс)
Один запуск агента, идентифицируемый session_id. Сеанс — это все события, имеющие этот идентификатор, сведённые в одну строку на странице Sessions (сеансы) и отображённые в виде графика выполнения на странице подробностей. Сеанс обычно начинается с agent_start и заканчивается agent_end.
Agent (агент)
Именованный участник в запуске, идентифицируемый agent_id. Запуск может включать несколько агентов: например, планировщик, который порождает подагента-summarizer. Подагенты имеют parent_id, который позволяет Failproof AI Observability отображать их на отдельных линиях в графике выполнения.
Environment (окружение)
Метка, указывающая, где происходил запуск: production, staging, dev. Вы устанавливаете его один раз при настройке SDK. Почти все страницы панели управления могут фильтроваться по окружению.
Context-window fill (заполнение контекстного окна)
Процент контекстного окна модели, который потребил ответ. Failproof AI Observability проставляет этот показатель для событий model_response для распознаваемых моделей, чтобы рост промтов и предстоящая компрессия были видны прямо в потоке событий.
Качество
Evaluation (оценка) Оценка качества завершённого сеанса, созданная вашим сервисом оценки. Оценки опциональны: до подключения оценщика сеансы записываются, но не оцениваются. Каждая оценка может содержать несколько именованных баллов (напримерhelpfulness, factuality, tool_efficiency), каждый с кратким примечанием рассуждений. См. Evaluation suite.
Score key (ключ оценки)
Название одного измерения, о котором сообщает оценщик, например helpfulness. Оповещения и аудиты могут отслеживать определённый ключ оценки со временем.
Evaluator (оценщик)
Ваш сервис оценки. Failproof AI Observability отправляет POST-запрос стенограмму завершённого запуска и сохраняет возвращаемые оценки. Служба не поставляется с оценщиком по умолчанию; логика оценки — ваша.
Поиск и исправление ошибок
Hook (хук) Guardrail или побочный эффект, который выполняет ваш фреймворк агента вокруг шага: проверка безопасности контента, редакция PII, guard для бюджета. Хуки генерируют событияhook_triggered / hook_completed с outcome (allow, deny, modify) и имеют собственную страницу наблюдения.
Alert rule (правило оповещения)
Правило, которое срабатывает, когда метрика пересекает установленный вами порог: error rate, p95 latency, token cost или оценка оценщика. Когда срабатывает правило, оно открывает инцидент и отправляет уведомления в выбранные каналы (email, Slack, webhook, в панель управления). См. Alerts.
Incident (инцидент)
Открытая проблема, созданная при срабатывании правила оповещения. Инциденты имеют жизненный цикл (acknowledge, assign, resolve) и временную шкалу активности, которая записывает каждое действие. Вы также можете открыть инцидент вручную.
Audit (аудит)
Периодическое расследование (ежечасное до еженедельного), которое анализирует журналы между сеансами в поисках паттернов сбоев, для которых вы ещё не написали правило: кластеры ошибок, низкие оценки, выбросы latency, циклы вызовов инструментов и запуски, которые никогда не завершились. Если оповещение отслеживает метрику, о которой вы уже знаете, аудит указывает, на что смотреть дальше. См. Audits.
Finding (результат)
Один ранжированный, подкреплённый доказательствами результат запуска аудита. Результат называет паттерн, ссылается на точные сеансы, лежащие в его основе, и имеет жизненный цикл сортировки (acknowledge, resolve, mute, dismiss). Failproof AI Observability дедублирует результаты от запуска к запуску, поэтому известный паттерн обновляется вместо накопления.
The AI assistant (AI-ассистент)
Встроенный в панель управления чат, который отвечает на вопросы об ваших агентах на простом английском языке, используя ваши собственные данные. По умолчанию он работает в режиме чтения; всё, что он создаёт (сохранённый запрос, панель управления), требует одобрения, и он никогда не может удалять. См. AI assistant.
Запуск
Organization (tenant) (организация) Изолированное рабочее пространство. Один экземпляр Failproof AI Observability может размещать множество организаций, каждая со своими пользователями, ключами и данными. Каждый URL панели управления ограничена вашим слагом организации (/<org-slug>/…).
Collector (коллектор)
agenteye-collector, лёгкий демон, который работает на каждой машине агента, объединяет события, которые SDK записывает на диск, и отправляет их на сервер.
API key (API-ключ)
Токен с ограниченной областью, который аутентифицирует клиент на сервере. Ключи имеют детальные разрешения (например events:add для коллектора, read-only области для ключа панели управления). См. API keys.
Server (сервер)
Сервис ingestion и API. Он принимает события, хранит операционное состояние в ваших базах данных и обслуживает панель управления и CLI.
Dashboard (панель управления)
Веб-интерфейс. Каждая страница ограничена организацией и читает данные через API сервера.
Следующие шаги
- Overview: как эти компоненты работают вместе.
- Observability: поверхности наблюдения (Events, Sessions, Models, Tools, Hooks, Errors).