모든 에이전트를 실시간으로 파악하기
에이전트가 실행을 시작하거나, 모델을 호출하거나, 툴을 실행하거나, 훅을 구동하거나, 오류가 발생하는 순간 해당 행이 스트림 상단에 즉시 나타납니다. 조직 내 모든 에이전트의 모든 이벤트를 최신순으로 추적하므로, 오래된 정보 대신 항상 최신 현황을 파악할 수 있습니다. 특정 서버에서 로그 파일을 tail하거나, 여러 머신에 걸쳐 grep하거나, 타임스탬프를 수동으로 맞춰볼 필요가 없습니다. 페이지 하나를 열면 바로 프로덕션을 모니터링할 수 있습니다. 행은 유형별로 색상 코드가 지정되어 있어, 모든 줄을 일일이 파싱하지 않고도 스트림을 한눈에 파악할 수 있습니다. 각 행에는 다음 정보가 표시됩니다:- 유형 (색상 코드):
agent_start,model_response,tool_use,hook_completed,error등. - 한 줄 요약: 내용을 파악하기 위해 일일이 열어볼 필요가 거의 없습니다.
- 해당 단계의 토큰 수.
- 컨텍스트 창 사용량 배지 (해당되는 경우): 프롬프트가 늘어나거나 컴팩션이 임박한 상황을 미리 확인할 수 있습니다.
문제가 된 실행 찾기
무언가 이상해 보일 때, 모든 데이터를 쏟아붓는 방식은 원하지 않습니다. 문제가 된 단 하나의 실행을 찾고 싶을 것입니다. 스트림은 환경, 에이전트, 세션, 이벤트 유형 또는 자유 텍스트로 빠르게 필터링할 수 있습니다. 세션 ID나 에이전트 ID로 필터링하면 첫 번째 이벤트부터 마지막 이벤트까지 하나의 실행을 추적할 수 있습니다. 이벤트 유형으로 필터링하면 특정 종류의 활동만 볼 수 있습니다. 예를 들어 조직 전체의 모든error를 한 화면에서 확인할 수 있습니다. 필터를 중첩하면 몇 번의 클릭만으로 “전체, 모든 곳”에서 “이 에이전트, 프로덕션, 오류 발생”으로 범위를 좁힌 뒤 바로 조치를 취할 수 있습니다.
자유 텍스트 검색은 이미 알고 있는 메시지, 툴 이름 또는 ID를 바로 찾아주므로, 고객 리포트에서 정확한 실행 기록까지 몇 초 만에 도달할 수 있습니다.
접근 방법
이벤트 스트림은 조직의 홈 화면입니다. 로그인하면/<org-slug>/에서 가장 먼저 접하는 화면으로, 도착하는 즉시 트리아지를 시작할 수 있습니다.
그 뒤에서는 에이전트가 SDK를 통해 이벤트를 내보내고, 수집기가 이를 FailproofAI 옵저버빌리티 서버로 전송하며, 스트림은 사용자가 관리하는 인프라에 이벤트가 도착하는 대로 tail합니다. 원시 추적 대신 집약된 뷰를 원한다면, 각 실행의 이벤트는 Sessions에서 단일 행으로 접혀 표시되며 클릭 한 번으로 확인할 수 있습니다.
이벤트 스트림은 다른 모든 옵저브 화면이 기반으로 삼는 원본 정보의 출처입니다. 다른 곳에서 숫자가 이상해 보인다면, 스트림에서 실제로 무슨 일이 있었는지 확인하세요.
관련 문서
- Sessions: 동일한 이벤트를 실행별 단일 행으로 집약한 화면으로, git 스타일의 실행 그래프를 제공합니다.
- Telemetry: 에이전트가 전송하는 데이터와 이벤트가 스트림에 도달하는 방식.
- Error tracking: 발생한 모든 오류를 위한 통합 트리아지 화면.
- Alerts: 임계값을 페이징 규칙으로 전환하기.
- CLI and agents: 터미널에서 동일한 실시간 추적 확인하기.