監査レシピ - Failproof AI

これらを出発点のゴールとして活用し、エージェント、環境、期待するワークフローを追加してください。

ダッシュボード
CLI

Analyze → Audits → New audit へ移動し、レシピをdescriptionまたはbriefにコピーしてから、関連する環境、エージェント、ルックバック期間、参照URLを追加します。監査を作成し、スケジュールを設定する前に最初の実行結果を確認してください。新規監査フォームは、スコープ・コンテキスト・ケイデンス・通知を追加することで、レシピを実行可能な障害チェックに変換します。

作成後、定期実行に依存する前に、監査が期待どおりのステータスとスケジュールでリストに表示されていることを確認してください。

最初の実行結果を開き、検出内容が意図した障害モードより広すぎる・狭すぎる場合はレシピを調整してください。

レシピをテキストファイルとして保存し、作成時に添付します：

fp audits create retry-loop-review \
  --scope '{"environments":["production"]}' \
  --text-file ./retry-loop-audit.txt \
  --schedule-interval-secs 86400

繰り返しリトライループ

エージェントが入力を変えず、代替ツールを選択せず、人間にエスカレーションもしないまま、同じ失敗したツール呼び出しを繰り返しているセッションを検出します。

誤ったツール使用

選択されたツールが指定タスクと一致しない、またはツールへの入力がワークフローで要求される事前条件に違反しているセッションを検出します。

安全でないデータアクセス

このエージェントに承認されたパスやサービスの外部で、機密データの読み取り・書き込み・送信が行われたセッションを検出します。

タスクの放棄

要求された成果、明確なエラー、または人間への明示的な引き継ぎなしに終了しているセッションを検出します。

コストまたはレイテンシーの劣化

モデル、ツール、または合計実行時間が期待する予算を超えているセッションを検出し、原因となったイベントパターンを特定します。

人間へのエスカレーション漏れ

信頼度の低下、繰り返しの失敗、またはポリシーのガイダンスにより人間の判断が必要であったにもかかわらず、エージェントが自律的に処理を継続したセッションを検出します。