メインコンテンツへスキップ
このページでは、FailproofAI オブザーバビリティで使用する用語を定義しています。他のガイドで見慣れない用語があれば、ここで確認できます。最初から最後まで読む必要はありません。ざっと目を通すか、確認したい用語が出てきたときに参照してください。

データモデル

イベント データの最小単位です。1つのイベントは、エージェントが実行した1ステップを記録します。tool_usemodel_requesthook_completederror などが含まれます。エージェントは Python SDK を通じてイベントを送信し、Events ページにリアルタイムで表示されます。 セッション session_id で識別される、1回のエージェント実行です。セッションは同じIDを持つすべてのイベントをまとめたもので、Sessions ページには1行として表示され、詳細ページには実行グラフとして描画されます。セッションは通常 agent_start で始まり、agent_end で終わります。 エージェント agent_id で識別される、実行内の名前付きアクターです。1回の実行には複数のエージェントが関与することがあります。たとえば、サマライザーのサブエージェントを生成するプランナーなどです。サブエージェントは parent_id を持ち、これにより FailproofAI オブザーバビリティが実行グラフ上で独立したレーンに描画できます。 環境 実行が発生した場所を示すラベルです。productionstagingdev などが該当します。SDK の設定時に一度だけ設定します。ほぼすべてのダッシュボードページで環境によるフィルタリングが可能です。 コンテキストウィンドウ使用率 レスポンスがモデルのコンテキストウィンドウをどれだけ消費したかを示すパーセンテージです。FailproofAI オブザーバビリティは認識しているモデルの model_response イベントにこの値を付与するため、プロンプトの肥大化やコンパクションの接近をイベントストリーム上で直接確認できます。

品質

評価 (Evaluation) お客様が実行するスコアリングサービスによって生成される、完了したセッションの品質スコアです。評価はオプトイン方式です。評価器を接続するまで、セッションは記録されますがスコアリングされません。各評価には複数の名前付きスコア(例:helpfulnessfactualitytool_efficiency)を含めることができ、それぞれに短い根拠メモが付きます。評価スイート を参照してください。 スコアキー 評価器が報告する1つの評価軸の名前です(例:helpfulness)。アラートや監査は特定のスコアキーを継続的に監視できます。 評価器 (Evaluator) お客様のスコアリングサービスです。FailproofAI オブザーバビリティは完了した実行のトランスクリプトをPOSTし、返されたスコアを保存します。デフォルトの評価器は付属していません。スコアリングロジックはお客様自身が実装します。

障害の発見と修正

フック (Hook) エージェントフレームワークがステップの前後に実行するガードレールまたは副作用です。コンテンツ安全チェック、PII 編集、予算ガードなどが含まれます。フックは outcome(allow、deny、modify)を持つ hook_triggered / hook_completed イベントを送信し、専用のオブザーブページに表示されます。 アラートルール 設定したしきい値をメトリクスが超えたときに発火するルールです。エラー率、p95 レイテンシ、トークンコスト、または評価器スコアを監視できます。ルールが発火すると、インシデントが作成され、選択したチャネル(メール、Slack、Webhook、ダッシュボード内)に通知されます。アラート を参照してください。 インシデント アラートルールが発火したときに作成される未解決の問題です。インシデントにはライフサイクル(承認、割り当て、解決)とすべてのアクションを記録するアクティビティタイムラインがあります。手動で作成することもできます。 監査 (Audit) セッションをまたいでログを分析し、ルールをまだ定義していない障害パターンを検出する定期調査(毎時から毎週)です。エラークラスター、低スコア、レイテンシの外れ値、ツール呼び出しのループ、未完了の実行などを検出します。アラートがすでに把握しているメトリクスを監視するのに対し、監査は次に調べるべき箇所を教えてくれます。監査 を参照してください。 ファインディング (Finding) 監査実行から得られる、優先度付きで証拠に基づいた1件の結果です。ファインディングはパターンに名前を付け、それを裏付ける正確なセッションへのリンクを提供し、トリアージライフサイクル(承認、解決、ミュート、却下)を持ちます。FailproofAI オブザーバビリティは実行をまたいでファインディングを重複排除するため、既知のパターンは積み重なる代わりに更新されます。 AI アシスタント お客様自身のデータに基づいて、エージェントに関する質問に平易な言葉で答えるダッシュボード内チャットです。デフォルトは読み取り専用で、作成するもの(保存済みクエリ、ダッシュボード)は承認が必要であり、削除は一切できません。AI アシスタント を参照してください。

運用

オーガニゼーション(テナント) 独立したワークスペースです。1つの FailproofAI オブザーバビリティインスタンスは、それぞれ独自のユーザー、キー、データを持つ複数のオーガニゼーションをホストできます。すべてのダッシュボードURLはオーグスラッグ(/<org-slug>/…)のスコープ下にあります。 コレクター (Collector) agenteye-collector は、各エージェントマシン上で動作する軽量デーモンです。SDKがディスクに書き込んだイベントをバッチ処理し、サーバーに送信します。 API キー クライアントをサーバーに対して認証するスコープ付きトークンです。キーには詳細な権限が付与されます(例:コレクター用の events:add、ダッシュボードキー用の読み取り専用スコープ)。API キー を参照してください。 サーバー インジェストおよびAPIサービスです。イベントを取り込み、データベースに運用状態を保存し、ダッシュボードとCLIを提供します。 ダッシュボード Web UIです。すべてのページはオーガニゼーションにスコープされ、サーバーのAPIを通じてデータを読み取ります。

次のステップ

  • 概要: これらの要素がどのように組み合わさるかを説明しています。
  • オブザーバビリティ: オブザーブサーフェス(Events、Sessions、Models、Tools、Hooks、Errors)について説明しています。