평균값이 최악의 실행을 숨기지 못하게 하세요
평균 레이턴시 수치는 안심감을 주지만 실제로는 쓸모가 없습니다. 50번 중 한 번 멈춰서 새벽 2시에 온콜을 깨우는 그 호출을 평균이 덮어버리기 때문입니다. Models, Tools, Hooks 페이지는 그런 식으로 동작하지 않습니다. 세 페이지는 동일한 구조를 공유하므로 한 번만 익히면 됩니다.- 24구간 스파크라인: 추세를 한눈에 파악 — 상황이 나빠지고 있는가?
- 바이탈 스트립: p50, p95, p99 레이턴시를 나란히 표시해 일반적인 실행과 테일을 함께 확인.
- 레이턴시 히트맵: 24개 시간 구간 × 레이턴시 버킷으로, 느린 호출이 언제 집중됐는지 시각화.
- 백분위 밴드: p50 선을 중심으로 p25
p75 및 p10p90 음영 리본과 p99 점이 표시되어, 분포가 평균으로 묻히지 않고 그대로 드러남.
Models: 각 모델의 정확한 비용을 파악하세요
Models 페이지(위 이미지 참고)는 청구서를 받을 때 항상 드는 두 가지 질문에 답합니다. 어떤 모델인가, 그리고 얼마인가. 공유 레이턴시 뷰 위에 모델별 토큰 소비량, 예상 비용, 컨텍스트 윈도우 사용률이 추가되므로, 프롬프트가 통제 불능으로 늘어나는 상황이나 임박한 압축(compaction)을 미리 감지할 수 있습니다. Failproof AI Observability는 일반적인 모델 ID를 자동으로 인식합니다. 윈도우 크기가 잘못 표시되거나 자체 프라이빗 모델을 사용하는 경우, Settings의 model context windows에서 수정하거나 추가하면 사용률 수치에 즉시 반영됩니다.Tools: 느린 것과 고장난 것을 구분하세요
도구 호출은 느릴 수도 있고, 조용히 실패하고 있을 수도 있습니다. 로그를 뒤지는 것이 아니라 몇 초 안에 어느 쪽인지 알아야 합니다.
Hooks: 문제의 훅과 트리거를 정확히 찾아내세요
라이프사이클 훅이 실행을 지연시킬 때, “훅이 느리다”는 말만으로는 조치를 취할 수 없습니다. Hooks 페이지는 문제가 되는 바로 그 훅으로 곧장 안내합니다.