Skip to main content
監査は、選択されたセッション群に対して特定の障害目標を検索します。トレースの証拠、評価結果、ポリシーのヒット、および参照コンテキストを組み合わせて、実際に対処できる調査結果を生成します。
スケジュールされた実行から、証拠に基づいた修正可能な障害の発見まで、監査の流れを確認してください。

監査を開く

Analyze → Audits に移動します。このページには、スケジュール状態、未解決の調査結果、前回の実行、次回の実行、実行頻度、およびブリーフや参照ページの有無が表示されます。カードを選択すると設定と実行履歴が確認でき、new audit を選択すると新しい監査を作成できます。スケジュール、感度、実行状態が表示された定期監査の一覧ページ。
次のようなポピュレーションレベルの質問に答える必要がある場合に監査を使用します。
  • エージェントはどこでエスカレーションせずにタスクを放棄しているか?
  • どのツール障害が非効率なリトライにつながっているか?
  • エージェントは意図したワークフロー外のデータにアクセスしているか?
  • モデル、プロンプト、またはツールのリリース後に何が変わったか?

監査のレスポンスフロー

調査結果は障害モードを明確に示し、証拠を指し示す必要があります。Issue は修正作業を担います。Policy は既知のアクションパターンを防止し、Alert は防止が不可能な場合やモニタリングが必要な場合に再発を検出します。

監査を設定する

初回実行前に目標、対象セッション群、および参照コンテキストを定義します。

エージェントコンテキストを追加する

各エージェントが生成しなければならないものと、絶対に行ってはならないことを定義します。