Skip to main content
モデル、ツール、またはhookが遅くなったりコストが膨らんだ瞬間を即座に把握し、ユーザーが気づく前にテールレイテンシのスパイクを検出できます。3つの専用ページが生のタイミングデータをp50、p95、p99に変換し、一目で読み取ることができます。 レイテンシヒートマップ、パーセンタイルバンド、モデルごとのトークン数・コスト・コンテキストウィンドウ使用率を表示するModelsページ Modelsページ:レイテンシヒートマップ、パーセンタイルバンド、モデルごとのトークン数・推定コスト・コンテキストウィンドウ使用率。

平均値に最悪の実行を隠させない

平均レイテンシという数値は安心感を与えますが、実際には役に立ちません。50回に1回起きる、深夜2時にオンコール担当を呼び出すような停滞した呼び出しを、平均値は丸めて隠してしまうからです。Models、Tools、Hooksの各ページはそれをしません。どのページも同じ構成を持つので、一度覚えればすべてに応用できます。
  • 24ビンのスパークラインでトレンドを一目確認:状況は悪化しているか?
  • p50、p95、p99レイテンシを並べたバイタルストリップで、典型的な実行とテールを並べて比較。
  • 横軸に24タイムビン、縦軸にレイテンシバケットを取ったレイテンシヒートマップで、遅い呼び出しがいつ集中したかを可視化。
  • p50ラインにp25〜p75とp10〜p90のシェーディングリボン、p99ドットを重ねたパーセンタイルバンドで、ばらつきを平均化せず見え続けるように表示。
共有ホバークロスヘアがヒートマップとバンドを連動させるため、テールスパイクが一本の平均線の陰に隠れることなく、両方で同じ時刻に揃って表示されます。3つのページはすべてダッシュボードの observe セクションにあり、組織スコープで日付範囲・環境・エージェント・セッションによるフィルタリングが可能です。

Models:各モデルのコストを正確に把握する

Modelsページ(上図)は、請求書が常に提起する2つの問いに答えます:どのモデルで、いくらか。共有レイテンシビューに加えて、モデルごとのトークン消費量推定コストコンテキストウィンドウ使用率が追加されるため、プロンプトの急激な肥大化や差し迫ったコンパクションを驚かされる前に把握できます。 Failproof AI Observabilityは一般的なモデルIDを自動的に認識します。ウィンドウサイズが正しくない場合や独自のプライベートモデルを使用している場合は、Settingsmodel context windows で修正または追加してください。使用率の表示もそれに従って更新されます。

Tools:遅いものと壊れているものを見分ける

ツール呼び出しは遅いこともあれば、静かに失敗していることもあります。どちらなのかを、ログを掘り返してからではなく、数秒で知る必要があります。 共有レイテンシヒートマップとパーセンタイルバンドの横に成功・失敗の内訳とツール分布バーを表示するToolsページ Toolsページ:同じヒートマップとパーセンタイルバンド、さらに成功・失敗の内訳とツール分布バー。 共有レイテンシビューに加えて、Toolsページには成功・失敗の内訳ツール分布バーが追加されます。これにより、最も頻繁に使われているツールと、エラーバジェットを消費しているツールが一目でわかります。

Hooks:問題のあるhookとトリガーをピンポイントで特定する

ライフサイクルhookが実行を遅らせているとき、「hookが遅い」というだけでは対処できません。Hooksページは問題のある一つにたどり着く手助けをします。 共有ヒートマップとパーセンタイルバンドの上にhook名とトリガーイベントごとにレイテンシを分解表示するHooksページ Hooksページ:hook名とトリガーイベントごとに分解されたレイテンシ。 同じレイテンシヒートマップとパーセンタイルバンドの上で、Hooksページはhook名トリガーイベントごとにアクティビティを分解します。これにより、注意が必要な単一のhookと単一のイベントに直接たどり着けます。

関連項目