Рецепты аудита

Используйте эти рецепты как стартовые цели, затем добавьте вашего агента, окружение и ожидаемый рабочий процесс.

Dashboard
CLI

Перейдите в Analyze → Audits → New audit, скопируйте один из рецептов в поле description или brief, затем добавьте соответствующее окружение, агента, период поиска и контрольные URL. Создайте аудит и проверьте первый запуск перед планированием.Форма создания нового аудита превращает рецепт в проверку отказов, которую можно выполнять, добавляя область действия, контекст, регулярность и уведомления.

Форма создания нового аудита, настроенная с конкретной целью, расписанием, областью действия агента и окружения, контекстом и каналами уведомлений.

После создания подтвердите, что аудит появится в списке с ожидаемым статусом и расписанием перед использованием повторяющихся запусков.

Страница Audits с рецептом аудита для конкретного рабочего процесса после создания.

Откройте первый запуск и уточните рецепт, если его результаты выявляют более широкие или узкие причины, чем предусмотренный режим отказа.

Сохраните рецепт как текстовый файл и прикрепите его во время создания:

fp audits create retry-loop-review \
  --scope '{"environments":["production"]}' \
  --text-file ./retry-loop-audit.txt \
  --schedule-interval-secs 86400

Повторяющиеся циклы повторных попыток

Найти сеансы, где агент повторяет один и тот же сбойный вызов инструмента без изменения входных данных, выбора альтернативного инструмента или эскалации к человеку.

Неправильное использование инструмента

Найти сеансы, где выбранный инструмент не соответствует поставленной задаче, или где входные данные инструмента нарушают необходимые предусловия рабочего процесса.

Небезопасный доступ к данным

Найти сеансы, которые читают, записывают или передают конфиденциальные данные вне одобренных путей и сервисов для этого агента.

Прерывание задачи

Найти сеансы, которые завершаются без достижения запрашиваемого результата, четкой ошибки или явной передачи человеку.

Регрессия по стоимости или задержке

Найти сеансы, чья модель, инструмент или общая продолжительность превышает ожидаемый бюджет, и определить шаблон событий, ответственный за это.

Пропущенная эскалация к человеку

Найти сеансы, где уверенность, повторный отказ или руководство по политике требовали решения человека, но агент продолжил действовать автономно.