監査の設定 - Failproof AI

監査の品質はそのスコープから始まります。「問題を見つける」といった漠然なリクエストよりも、具体的な障害に関する問いを設定した方が、より有用な結果が得られます。

監査を設定する

ダッシュボード
CLI

Analyze → Audits → New audit に移動し、名前と説明を入力します。
実行間隔、時間ウィンドウ、エージェント／環境のスコープ、無視するエラー、感度、および最大検出件数を設定します。
agents にて、エージェントコンテキストを追加または確認し、オペレーターブリーフと公開HTTPS参照URLを追加します。
通知チャネルを選択し、create audit を選択します。最初の実行はすぐにキューに追加されます。

fp audits create checkout-reliability \
  --description "Find checkout failures that agents do not recover from" \
  --scope '{"environments":["production"],"agent_ids":["checkout-agent"]}' \
  --schedule-interval-secs 86400 \
  --window-mode since_last \
  --sensitivity medium \
  --text-file ./checkout-audit-brief.txt \
  --url https://runbooks.example.com/checkout

最初の実行はすぐにキューに追加されます。作成時にブリーフと参照URLを含めることで、その実行でそれらが反映されます。完全なリファレンスは fp audits create リファレンスをご覧ください。

まず既知の失敗セッションといくつかの正常セッションから始めましょう。これにより、監査にポジティブな例と比較対象のセットの両方が与えられます。

監査コンテキストは独自のリソースとして保存されるため、監査を編集しても参照資料が誤って削除されることはありません。