
平均値が最悪のケースを隠すのをやめる
平均レイテンシの数値は安心感を与えますが、実際には役に立ちません。50回に1回発生する、深夜2時にオンコール担当を叩き起こすような遅延呼び出しを、平均値は平滑化してしまいます。Models、Tools、Hooksの各ページはそれをしません。各ページは同じ構成を共有しているため、一度覚えるだけで使いこなせます。- 24ビンのスパークラインでトレンドを一目把握:状況は悪化していますか?
- バイタルストリップにp50、p95、p99のレイテンシを表示し、典型的な実行とテールを並べて確認できます。
- レイテンシヒートマップ:24の時間ビンとレイテンシバケットで構成され、遅い呼び出しがいつ集中したかを示します。
- パーセンタイルバンド:p50ラインにp25〜p75とp10〜p90のシェーディングリボン、p99ドットを加え、分布が平均値に埋もれずに可視化されます。
モデル:各モデルのコストを正確に把握する
モデルページ(上図)は、請求が発生したときに必ず生じる2つの疑問に答えます:どのモデルで、いくらか。共有レイテンシビューに加えて、モデルごとのトークン消費量、推定コスト、コンテキストウィンドウの使用率が追加されているため、プロンプトの肥大化や差し迫ったコンパクションを、驚かされる前に把握できます。 FailproofAI Observabilityは一般的なモデルIDを自動的に認識します。ウィンドウの表示がおかしい場合、またはプライベートモデルを使用している場合は、Settings の model context windows で修正または追加してください。使用率の表示もそれに合わせて更新されます。ツール:遅いものと壊れているものを区別する
ツール呼び出しは遅い場合もあれば、静かに失敗している場合もあります。ログを掘り返すことなく、数秒でどちらなのかを判断したいはずです。
フック:問題のフックとトリガーを特定する
ライフサイクルフックが実行を遅延させているとき、「フックが遅い」という情報だけでは対処できません。Hooksページは、問題のある1つのフックまで絞り込んでくれます。

