Skip to main content
Failproof AI Observability ищет сбои, для которых вы никогда не писали правил, и предоставляет вам ранжированный список дел с доказательствами — ровно то, что нужно исправить. Это как иметь аналитика, который каждую ночь просматривает ваши логи и оставляет краткий список на столе к утру.
Двухминутный обзор: от запланированного запуска до исправления, которое вы можете применить. Страница Audits: повторяющиеся задания, которые сканируют ваши сессии на предмет паттернов сбоев, каждое с расписанием и чувствительностью Каждый audit — это повторяющееся задание, которое анализирует ваши сессии и подготавливает ранжированные рекомендации с доказательствами.

​
Перестаньте гадать, что исправлять в следующую очередь

Алерты ловят проблемы, которые вы уже знаете отслеживать. Audits ловят те, которые вы не знаете. По расписанию, которое вы установите, audit просматривает все сессии вашего агента и ищет паттерны, стоящие исправления, чтобы вы тратили время на действия на основе результатов вместо просмотра логов в надежде их заметить. Один запуск обращается к режимам отказа, которые действительно ломают агентов в production:
  • Кластеры ошибок: одна и та же ошибка, повторяющаяся под общей первопричиной.
  • Отклонение от базовой линии: поведение, которое тихо отклоняется от известного рабочего окна.
  • Отказ в достижении цели в транскриптах: запуски, которые технически завершились, но так и не выполнили задачу.
  • Неправильное использование инструментов: неправильный инструмент, плохие аргументы или циклы, сжигающие вызовы.
  • Компромиссы между качеством и стоимостью: где вы переплачиваете за результаты, которые могли бы получить дешевле.
  • Пробелы в покрытии: поведение, которое никакой eval или alert не отслеживает.
Вы решаете, как глубоко проверять, с помощью единого параметра чувствительности (низкая, средняя или высокая), поэтому шумный агент staging и заблокированный production могут быть настроены отдельно на нужный вам сигнал.

​
Каждая рекомендация снабжена доказательствами

Вам никогда не придётся принимать результат на веру. Каждая рекомендация ссылается на точные сессии, из которых она получена, и SQL, который её выявил, поэтому вы можете открыть доказательства и подтвердить проблему в один клик вместо обратного проектирования утверждения. Это также то, что делает audits честными. Сервер проверяет, что каждая упомянутая сессия действительно существует, и отклоняет любую рекомендацию, доказательства которой не выдерживают проверки, поэтому audit исследует, но никогда не выдумывает. То, что попадает в ваш список, реально, воспроизводимо и ранжировано по важности, с самыми большими выигрышами наверху.

​
Превратите исправление в guardrail

Исправление проблемы — это только половина победы. Другая половина — убедиться, что это не может тихо вернуться. Каждый результат имеет одноклик ярлык, который создаёт повторяющийся алерт, заполненный разумным стартовым триггером, который вы можете настроить. Закройте результат, активируйте алерт, и в следующий раз, когда этот паттерн появится снова, вы получите оповещение вместо того, чтобы переоткрыть это при будущем audit.

​
Где это найти

Audits находятся в dashboard по адресу /<org-slug>/audits (боковая панель в analyze в audits). Просмотр запусков и результатов требует audits:read; создание, редактирование и сортировка audits требуют audits:write. Установите область и кадентность audit, затем нажмите Run now, когда вам нужны результаты немедленно вместо ожидания следующего запланированного прохода.

​
Связанное

  • Alerts: получайте оповещение в тот момент, когда пересекается известный вам порог.
  • Evaluations: оценивайте каждый запуск, чтобы регрессии качества всплывали самостоятельно.
  • Error tracking: группируйте и отслеживайте ошибки, которые выбрасывают ваши агенты.
  • Incidents: отслеживайте проблему, которую выявляет audit, вплоть до её исправления.