メインコンテンツへスキップ
実行が失敗した理由を推測するのはもう終わりです。FailproofAI Observability は、1 回の実行で発生したすべてのイベントをひとつの読みやすい行にまとめ、実行全体を git スタイルの図として描画します。これにより、エージェントが何をしたのかをステップごとに数秒で把握できます。 セッション一覧:環境やエージェントをまたいで、1 実行につき 1 行で表示され、ステータスのバッジと評価スコアのバッジが付く 1 実行につき 1 行:ステータスのバッジで実行の結果が一目でわかり、エバリュエーターが接続されるとスコアバッジも表示されます。
エージェントのトレーシング:ゴールからツール呼び出し、最終回答まで、1 回の実行をステップごとに追跡できます。

すべての実行を一目で把握する

生のイベントログはすべてのステップの真実を記録していますが、数十の実行にわたって数千のステップが存在する場合、必要なのは個々のステップではなく実行全体の概要です。セッションページは、1 回の実行に含まれるすべてのイベントをひとつの行にまとめるため、1 日分のアクティビティが膨大なログの洪水ではなく、スキャンしやすいリストになります。 各行にはステータスのバッジが表示されるため、失敗した実行はクリックする前から正常な実行と区別できます。日付範囲、環境、エージェント、またはセッションでフィルタリングすれば、「すべて」から「確認したい実行」へ数クリックで絞り込めます。 エバリュエーターを接続すると、完了したすべての実行が自動的にスコアリングされ、最新スコアが行のバッジとして表示されます。任意のスコア範囲でフィルタリングできるため、「今週の本番環境でスコアの低い実行をすべて表示する」といった操作もフィルター一つで完結し、手動でのレビューは不要です。エバリュエーターを設定するまでの間も、セッションは実行全体を記録し続けます。ただし、その間はスコアバッジは表示されません。

実行全体を図として読む

セッションの git スタイル実行グラフとイベントタイムライン、およびツール・モデル・フックの内訳パネル 実行グラフ(左)はイベントタイムラインの隣に表示され、右パネルではツール・モデル・フック・トークン消費量の内訳が確認できます。 任意のセッションをクリックすると実行グラフが開きます。これは、エージェント・ツール・フック・モデル呼び出しが時系列でどのように展開されたかを示す git スタイルのビューです。並列サブエージェントはそれぞれ独自のレーンに分岐して表示されるため、どの処理が並行して実行されたか、どのサブエージェントが停滞したか、実行がどこで脱線したかを、膨大なログを頭の中で追いかけることなく把握できます。 右パネルには実行ごとの内訳が表示されます。使用されたツールとモデル、発火したフック、トークン消費量などが確認できます。「この実行のコストがなぜこんなに高いのか」「どのツールが遅いのか」といった疑問への答えが、その原因となったグラフのすぐ隣に表示されます。

場所の確認方法

すべてのダッシュボードページは組織ごとにスコープされています(/<org-slug>/…)。セッションは左サイドバーの Observe の下、Events の隣にあります。リストの上部には日付範囲・環境・エージェント・セッションのフィルターが並んでいます。各行をクリックすると、完全な実行グラフに遷移します。 スコアバッジとスコア範囲によるフィルタリングを有効にするには、エバリュエーターを接続してください。詳細は Evaluations をご覧ください。

関連ドキュメント

  • イベントストリーム:各セッションの集約元となる、ステップごとの生のイベントログ。
  • Evaluations:エバリュエーターを接続して、各実行にフィルタリング可能なスコアバッジを付与する。
  • Telemetry:エージェントからセッションへ実行データが送られる仕組み。