Skip to main content

title: Аудит прошлых сеансов (бета) description: “Подсчитайте, как часто агент совершал неэффективные или рискованные действия в прошлых записях”

Бета-функция. Аудит поставляется в бета-версии, пока мы собираем ранние отзывы. Каталог детекторов и формат отчета могут измениться до следующего стабильного выпуска. Пожалуйста, откройте issue, если что-то выглядит неправильно.
Аудит воспроизводит ваши прошлые записи agent-CLI через систему политик failproofai и отображает поделяемый визуальный отчет на странице /audit — архетип вашего агента, оценку от 0 до 100 и точно то, какие политики могли бы поймать что.

Запустить

Три способа — все приводят к одному отчету /audit.

Без установки

npx -y failproofai audit загружает failproofai, запускает сканирование и открывает для вас панель управления — ничего не нужно устанавливать заранее.

Из CLI

failproofai audit запускает сканирование в вашем терминале, затем автоматически открывает localhost:8020/audit по завершении.

Из панели управления

Запустите failproofai и нажмите Audit в навигационной панели (между Policies и Projects) или откройте /audit напрямую.
Запустите failproofai audit -h (или --help) для справки. Аудит работает полностью автономно — учетная запись или сеть не требуются — и панель управления продолжает работать, пока вы не остановите ее с помощью Ctrl+C.
Панель управления сканирует прошлые записи agent CLI на этом компьютере (Claude Code, Codex, Copilot, Cursor, OpenCode, Pi) и сообщает, как часто агент совершал действия, которые failproofai предназначен останавливать — проверки переменных окружения, принудительные push’и, избыточные префиксы cd <cwd>, sleep-polling циклы, повторное чтение только что отредактированных файлов и многое другое. Для каждой записи каждое событие использования инструмента воспроизводится через 39 встроенных политик и через 8 аудит-специфичных детекторов, которые ловят паттерны, еще не охватываемые политиками реального времени. Подсчеты агрегируются по политикам / детекторам во всех сеансах.

Что вы получите

Страница /audit — это один экран, поделяемый постер, за которым следуют четыре раздела ниже сгиба:
  1. Постер — личность вашего агента с первого взгляда: его архетип (один из 8 — optimist, cowboy, explorer, goldfish, paranoid architect, precision builder, hammer, ghost), ключевые слова его персоны, насколько редок этот архетип, и оценка от 0 до 100 с полосой уровня (S вплоть до bottom tier). Разработано для того, чтобы поделиться — опубликуйте в X или LinkedIn или загрузите как PNG.
  2. // strengths — то, что ваш агент уже делает хорошо, как реальные цифры из сканирования (например, clean-tool-call %, 0 попыток push-to-main), показано только там, где соответствующая политика имеет чистую историю.
  3. // quirks — то, что прошло незамеченным: ранжированная таблица поведений, которые failproofai бы перехватил — когда это произошло в последний раз, что прошло (и встроенная политика, которая бы это заблокировала), его серьезность и как часто встречалось (new / recurring / N× seen).
  4. // how to improve — список предписанных исправлений: по одной строке на политику с копируемой командой failproofai policy add <slug>, плюс кнопка install all, которая включает каждую рекомендацию сразу и показывает вашу спрогнозированную оценку, если вы это сделаете.
  5. // come back better — создайте привычку: установите напоминание о переаудите по электронной почте (3d / 7d / 14d / 30d) или переаудит сейчас, и пригласите друга запустить собственный аудит (отправлено с failproof.ai, Cc для вас). Напоминания и приглашения требуют входа.

Запланированные аудиты

Если вы запустите failproofaid daemon (см. failproofai config), он может переаудировать для вас по расписанию и обновлять отчет /audit в фоновом режиме. Это отключено по умолчанию, потому что сканирование читает содержимое каждой записи сеанса агента на этом компьютере — ничего не сканируется по таймеру, пока вы не попросите. Включите это в ~/.failproofai/config.toml:
  • Расписание по стенным часам, поэтому оно переживает спящий режим и перезагрузки: ноутбук, который спал после положенного времени, запускает один раз при пробуждении, никогда накопления.
  • Каждый запуск — это отдельный процесс с низким приоритетом (nice 19) — никогда путь hook’а демона, который остается свободным для ответа на вызовы инструментов.
  • Сканирование пропускается, если failproofai audit или переаудит панели управления уже выполняется; он переповторяется вскоре после, а не рассматривается как ошибка.
  • Прогресс записывается в ~/.failproofai/state/audit-schedule.json (последний запуск, когда следующий). Демон владеет этим файлом — измените кадр в config.toml.
Если вы включили это на машине, установленной старой failproofai, запустите failproofai config один раз. Определение сервиса демона нуждается в одной дополнительной записи, прежде чем он сможет запустить CLI, и обновление является частью этой команды.

Аудит-специфичные детекторы

Эти детекторы ловят паттерны “глупого поведения”, не (пока) не принудительные в реальном времени. Они работают только во время аудита и никогда не блокируют живой вызов инструмента.

Кэши

  • Кэш для каждой записи в ~/.failproofai/cache/audit/<sha1>.json с ключом по (mtime, size, engineVersion, detectorVersion) — автоматически инвалидируется при изменении записи или кода политики/детектора. Каждая запись также хранит timestamp cachedAt как TTL метаданные (не часть ключа кэша); записи старше 7 дней отклоняются при чтении, поэтому долгоживущие результаты не переживают развивающееся назначение детектора.
  • Кэш полного результата в ~/.failproofai/audit-dashboard.json (режим 0600). Позволяет панели управления отображаться мгновенно при навигации без переаудита. Также отклоняется при чтении спустя 7 дней TTL/audit затем падает на пустое состояние и запрашивает свежий запуск. Нажмите [ re-audit now ] около дна отчета для обновления — переаудит отправляет noCache: true, поэтому он обходит кэш для каждой записи и повторно сканирует каждую запись вместо возврата кэшированного результата; запуск транслирует прогресс через закрепленную верхнюю полосу и меняет результат на месте при успехе (без перезагрузки страницы; неудачный переаудит сохраняет предыдущий отчет).

Примечания

  • Без изменений. Аудит воспроизводится в режиме только чтения. warn-repeated-tool-calls пропускается, потому что его сайдкар для каждого сеанса иначе был бы изменен.
  • Политики рабочего процесса пропускаются. Политики require-*-before-stop срабатывают только на события Stop и execSync против живого состояния git — они не имеют значимой интерпретации “что бы произошло в 2025”, поэтому они не появляются в подсчетах аудита.
  • Пользовательские политики пропускаются. User-supplied пользовательские hook’и не воспроизводятся (они могли измениться с момента исходного сеанса).