
平均値に最悪の実行を隠させない
平均レイテンシという数値は安心感を与えますが、実際には役に立ちません。50回に1回起きる、深夜2時にオンコール担当を呼び出すような停滞した呼び出しを、平均値は丸めて隠してしまうからです。Models、Tools、Hooksの各ページはそれをしません。どのページも同じ構成を持つので、一度覚えればすべてに応用できます。- 24ビンのスパークラインでトレンドを一目確認:状況は悪化しているか?
- p50、p95、p99レイテンシを並べたバイタルストリップで、典型的な実行とテールを並べて比較。
- 横軸に24タイムビン、縦軸にレイテンシバケットを取ったレイテンシヒートマップで、遅い呼び出しがいつ集中したかを可視化。
- p50ラインにp25〜p75とp10〜p90のシェーディングリボン、p99ドットを重ねたパーセンタイルバンドで、ばらつきを平均化せず見え続けるように表示。
Models:各モデルのコストを正確に把握する
Modelsページ(上図)は、請求書が常に提起する2つの問いに答えます:どのモデルで、いくらか。共有レイテンシビューに加えて、モデルごとのトークン消費量、推定コスト、コンテキストウィンドウ使用率が追加されるため、プロンプトの急激な肥大化や差し迫ったコンパクションを驚かされる前に把握できます。 Failproof AI Observabilityは一般的なモデルIDを自動的に認識します。ウィンドウサイズが正しくない場合や独自のプライベートモデルを使用している場合は、Settings の model context windows で修正または追加してください。使用率の表示もそれに従って更新されます。Tools:遅いものと壊れているものを見分ける
ツール呼び出しは遅いこともあれば、静かに失敗していることもあります。どちらなのかを、ログを掘り返してからではなく、数秒で知る必要があります。
Hooks:問題のあるhookとトリガーをピンポイントで特定する
ライフサイクルhookが実行を遅らせているとき、「hookが遅い」というだけでは対処できません。Hooksページは問題のある一つにたどり着く手助けをします。

