ライブイベントを使用すると、インストゥルメンテーションの確認や、リスクの高い実行をセッション完了を待たずに監視できます。
アクティビティの監視
-
Observe → Events に移動します。
-
まず現在の時間ウィンドウでフィルターなしから開始し、データが届いていることを確認します。
-
環境、イベントタイプ、エージェント、セッションでフィルタリングします。ペイロードのテキスト検索も利用できます。
-
イベントを選択してサマリーと詳細を確認します。セッションリンクをたどることでトレース全体を表示できます。
デフォルトのフィードではRAWペイロードは省略されます。--full は範囲を限定したセッション調査にのみ使用してください。
イベントストリームを活用することで、次の3つの問いにすぐ答えられます:
- 対象のエージェントが正しい環境にレポートしているか?
- モデル呼び出し、ツール呼び出し、ポリシー判定が順番どおりに届いているか?
- セッションが進行を停止したり、同じアクションを繰り返し始めたりしていないか?
イベントタイプには、エージェントライフサイクルイベント、モデルのリクエストとレスポンス、ツールの使用と結果、フック実行、ヒューマンウェイトと割り込み、明示的なエラーが含まれます。ツール呼び出しとその結果など、対になるイベントはCorrelation IDで紐付けられます。
新しいインテグレーションを検証する際は、ライブビューを広い範囲で表示したままにしてください。フィルターは最初のイベントを確認してから追加しましょう。誤ったフィルターを設定すると、インジェストが失敗しているように見えてしまいます。
イベントが表示されない場合は、failproofai config --status を実行してからインジェストのトラブルシューティングを行ってください。
サポートされている12種類のハーネス上で動作しないエージェントも、Python SDK を通じて同じイベントタイプを報告できます。これには、ゲートウェイや本番エージェントが必要とするヒューマン・イン・ザ・ループイベント(human_wait、human_input、human_interrupt)も含まれます。