평균값이 최악의 실행을 가리지 못하게 하세요
평균 지연 수치는 안심감을 주지만 실질적으로는 무용합니다. 50번 중 한 번 멈춰서 새벽 2시에 온콜을 깨우는 호출을 그냥 뭉개버리기 때문입니다. Models, Tools, Hooks 페이지는 그런 식으로 작동하지 않습니다. 세 페이지 모두 동일한 구조를 공유하므로 한 번만 익히면 됩니다.- 24구간 스파크라인: 추세를 한눈에 파악 — 상황이 악화되고 있나요?
- 바이탈 스트립: p50, p95, p99 지연값을 나란히 표시해 일반적인 실행과 꼬리 지연을 함께 확인합니다.
- 지연 히트맵: 24개 시간 구간과 지연 버킷으로 구성되어 느린 호출이 언제 집중됐는지 보여줍니다.
- 백분위수 밴드: p50 라인을 기준으로 p25
p75, p10p90 음영 리본과 p99 점이 표시되어 분산이 평균 뒤에 숨지 않고 그대로 드러납니다.
Models: 각 모델의 정확한 비용 파악
Models 페이지(위 이미지 참조)는 청구서를 받았을 때 항상 드는 두 가지 질문에 답합니다. 어떤 모델이, 얼마나 사용됐는지. 공유 지연 뷰 외에도 모델별 토큰 소비량, 예상 비용, 컨텍스트 윈도우 사용률이 추가되어, 프롬프트가 걷잡을 수 없이 커지거나 컴팩션이 임박한 상황을 미리 발견할 수 있습니다. FailproofAI Observability는 일반적인 모델 ID를 자동으로 인식합니다. 윈도우 수치가 잘못 표시되거나 자체 프라이빗 모델을 운영하는 경우, Settings의 model context windows에서 수정하거나 새로 추가하면 사용률 수치가 자동으로 반영됩니다.Tools: 느린 것과 고장난 것을 구별하세요
도구 호출은 느릴 수도 있고, 조용히 실패하고 있을 수도 있습니다. 로그를 뒤지는 데 시간을 낭비하지 않고 수 초 만에 어느 쪽인지 알 수 있어야 합니다.
Hooks: 정확한 훅과 트리거 지점 찾기
라이프사이클 훅이 실행을 지연시킬 때, “훅이 느리다”는 말만으로는 조치를 취할 수가 없습니다. Hooks 페이지는 문제가 되는 바로 그 훅을 찾아줍니다.