メインコンテンツへスキップ
モデル、ツール、またはフックが遅くなったり、コストが跳ね上がった瞬間を即座に把握し、ユーザーが気づく前にテールレイテンシのスパイクを検知できます。3つの専用ページが生の計測値をp50、p95、p99に変換し、一目で確認できます。 モデルページ:レイテンシヒートマップ、パーセンタイルバンド、モデルごとのトークン数・コスト・コンテキストウィンドウの数値 モデルページ:レイテンシヒートマップ、パーセンタイルバンド、モデルごとのトークン数・推定コスト・コンテキストウィンドウの使用率。

平均値が最悪のケースを隠すのをやめる

平均レイテンシの数値は安心感を与えますが、実際には役に立ちません。50回に1回発生する、深夜2時にオンコール担当を叩き起こすような遅延呼び出しを、平均値は平滑化してしまいます。Models、Tools、Hooksの各ページはそれをしません。各ページは同じ構成を共有しているため、一度覚えるだけで使いこなせます。
  • 24ビンのスパークラインでトレンドを一目把握:状況は悪化していますか?
  • バイタルストリップにp50、p95、p99のレイテンシを表示し、典型的な実行とテールを並べて確認できます。
  • レイテンシヒートマップ:24の時間ビンとレイテンシバケットで構成され、遅い呼び出しがいつ集中したかを示します。
  • パーセンタイルバンド:p50ラインにp25〜p75とp10〜p90のシェーディングリボン、p99ドットを加え、分布が平均値に埋もれずに可視化されます。
共有ホバークロスヘアがヒートマップとバンドをリンクさせるため、テールスパイクが単一の平均線に隠れることなく、両者の時間軸上で対応します。3つのページはすべてダッシュボードの observe セクションにあり、それぞれ組織単位でスコープされ、日付範囲・環境・エージェント・セッションでフィルタリングできます。

モデル:各モデルのコストを正確に把握する

モデルページ(上図)は、請求が発生したときに必ず生じる2つの疑問に答えます:どのモデルで、いくらか。共有レイテンシビューに加えて、モデルごとのトークン消費量推定コストコンテキストウィンドウの使用率が追加されているため、プロンプトの肥大化や差し迫ったコンパクションを、驚かされる前に把握できます。 FailproofAI Observabilityは一般的なモデルIDを自動的に認識します。ウィンドウの表示がおかしい場合、またはプライベートモデルを使用している場合は、Settingsmodel context windows で修正または追加してください。使用率の表示もそれに合わせて更新されます。

ツール:遅いものと壊れているものを区別する

ツール呼び出しは遅い場合もあれば、静かに失敗している場合もあります。ログを掘り返すことなく、数秒でどちらなのかを判断したいはずです。 ツールページ:共有レイテンシヒートマップとパーセンタイルバンドの隣に、成功・失敗の内訳とツール分布バー ツールページ:同じヒートマップとパーセンタイルバンドに加え、成功・失敗の内訳とツール分布バー。 共有レイテンシビューに加えて、ツールページは成功・失敗の内訳ツール分布バーを追加します。最もよく使われているツールと、エラーバジェットを消費しているツールを一目で確認できます。

フック:問題のフックとトリガーを特定する

ライフサイクルフックが実行を遅延させているとき、「フックが遅い」という情報だけでは対処できません。Hooksページは、問題のある1つのフックまで絞り込んでくれます。 フックページ:共有ヒートマップとパーセンタイルバンドの上に、フック名とトリガーイベント別のレイテンシ内訳 フックページ:フック名とトリガーイベント別のレイテンシ内訳。 同じレイテンシヒートマップとパーセンタイルバンドの上で、フックページはアクティビティをフック名トリガーイベント別に分解するため、注意が必要な単一のフックと単一のイベントにすぐたどり着けます。

関連ドキュメント