監査レシピ - Failproof AI

これらを出発点のゴールとして使用し、エージェント、環境、および想定ワークフローを追加してください。

ダッシュボード
CLI

分析 → 監査 → 新しい監査 に移動し、説明または概要フィールドにレシピをコピーしてから、関連する環境、エージェント、ルックバック期間、参照 URL を追加します。監査を作成し、スケジュールを設定する前に最初の実行結果を確認してください。新しい監査フォームは、スコープ、コンテキスト、頻度、通知を追加することで、レシピを実行可能な障害チェックに変換します。

スコープ、コンテキスト、スケジュール、エージェントと環境のスコープ、通知チャンネルが設定された新しい監査フォーム。

作成後、定期実行に依存する前に、監査が期待どおりのステータスとスケジュールでリストに表示されていることを確認してください。

最初の実行を開き、その結果が意図した障害モードより広すぎる、または狭すぎる場合はレシピを修正してください。

レシピをテキストファイルとして保存し、作成時に添付します：

fp audits create retry-loop-review \
  --scope '{"environments":["production"]}' \
  --text-file ./retry-loop-audit.txt \
  --schedule-interval-secs 86400

繰り返しのリトライループ

エージェントが入力を変更せず、代替ツールを選択せず、人間にエスカレーションすることなく、同じ失敗したツール呼び出しを繰り返しているセッションを検出します。

不適切なツール使用

選択されたツールが指定されたタスクと一致しない、またはツールの入力がワークフローで必要な前提条件に違反しているセッションを検出します。

安全でないデータアクセス

このエージェントに承認されたパスおよびサービス以外で、機密データの読み取り、書き込み、または送信が行われているセッションを検出します。

タスクの放棄

要求された成果、明確なエラー、または人間への明示的な引き継ぎなしに終了しているセッションを検出します。

コストまたはレイテンシの悪化

モデル、ツール、または合計の実行時間が想定予算を超えているセッションを検出し、原因となっているイベントパターンを特定します。

人間へのエスカレーションの見落とし

信頼度の低さ、繰り返しの失敗、またはポリシーのガイダンスにより人間の判断が必要であったにもかかわらず、エージェントが自律的に処理を継続したセッションを検出します。