메인 콘텐츠로 건너뛰기
실행이 왜 실패했는지 더 이상 추측하지 마세요. FailproofAI Observability는 하나의 실행에서 발생한 모든 이벤트를 읽기 쉬운 단일 행으로 정리하고, 전체 실행 과정을 git 스타일의 다이어그램으로 시각화합니다. 에이전트가 수행한 작업을 단계별로 한눈에 파악할 수 있습니다. 세션 목록: 환경 및 에이전트 전반에 걸쳐 실행 당 하나의 행, 상태 배지와 평가 점수 배지 포함 실행당 한 행: 상태 배지를 통해 실행 결과를 즉시 확인할 수 있으며, 평가자를 연결하면 점수 배지도 함께 표시됩니다.
에이전트 추적: 목표 설정부터 도구 사용, 최종 응답까지 단일 실행을 단계별로 추적합니다.

모든 실행을 한눈에 파악하기

원시 이벤트 트레일은 모든 단계의 실제 기록이지만, 수십 개의 실행에 걸쳐 수천 개의 단계가 쌓이면 개별 단계가 아닌 실행 전체를 파악해야 합니다. 세션 페이지는 하나의 실행에 속한 모든 이벤트를 단일 행으로 집계하므로, 하루치 활동이 쏟아지는 데이터 스트림이 아닌 스캔 가능한 목록으로 표시됩니다. 각 행에는 상태 배지가 표시되어 있어, 클릭하기 전에도 실패한 실행과 정상적인 실행을 바로 구분할 수 있습니다. 날짜 범위, 환경, 에이전트, 세션으로 필터링하면 몇 번의 클릭만으로 “전체 목록”에서 “원하는 실행”으로 바로 이동할 수 있습니다. 평가자를 연결하면 완료된 모든 실행이 자동으로 채점되고, 최신 점수가 해당 행에 배지로 표시됩니다. 점수 범위로 필터링할 수 있으므로, “이번 주 프로덕션에서 낮은 점수를 받은 실행 보기”가 수동 검토가 아닌 필터 설정만으로 가능합니다. 평가자를 아직 설정하지 않은 경우에도 세션은 전체 실행 내용을 계속 캡처하며, 점수 배지만 표시되지 않습니다.

전체 실행을 다이어그램으로 읽기

세션의 git 스타일 실행 그래프와 이벤트 타임라인, 도구·모델·훅 분석 패널 실행 그래프(왼쪽)는 이벤트 타임라인 옆에 배치되며, 오른쪽 패널에서는 실행에 사용된 도구, 모델, 훅, 토큰 소비량을 분석합니다. 세션을 클릭하면 실행 그래프가 열립니다. 이 git 스타일 뷰는 에이전트, 도구, 훅, 모델 호출이 시간 흐름에 따라 전개되는 방식을 보여줍니다. 병렬 서브 에이전트는 각각 별도의 레인으로 분기되어 표시되므로, 어떤 작업이 동시에 실행됐는지, 어떤 서브 에이전트가 지연됐는지, 실행이 어디서 잘못됐는지를 방대한 로그를 머릿속으로 재구성하지 않고도 파악할 수 있습니다. 오른쪽 패널은 실행별 세부 분석을 제공합니다. 어떤 도구와 모델이 실행됐는지, 어떤 훅이 발동됐는지, 실행에 얼마나 많은 토큰이 소비됐는지를 확인할 수 있습니다. “이 실행이 왜 이렇게 비쌌지?” 또는 “어떤 도구가 느린 거지?”라는 질문에 대한 답이 그래프 바로 옆에 있습니다.

위치 안내

모든 대시보드 페이지는 조직 단위(/<org-slug>/…)로 범위가 지정됩니다. 세션은 왼쪽 사이드바의 Observe 메뉴에서 이벤트 옆에 위치하며, 목록 상단에 날짜 범위, 환경, 에이전트, 세션 필터가 있습니다. 모든 행을 클릭하면 전체 실행 그래프로 바로 이동합니다. 점수 배지 및 점수 범위 필터링을 활성화하려면 평가자를 연결하세요: 평가를 참고하세요.

관련 문서

  • 이벤트 스트림: 각 세션이 집계되는 원시 단계별 트레일.
  • 평가: 평가자를 연결하여 각 실행에 필터링 가능한 점수 배지를 부여합니다.
  • 텔레메트리: 에이전트에서 이 세션으로 실행 데이터가 전달되는 방식.