FailproofAI Observability는 FailproofAI의 엔터프라이즈 제품입니다. 직접 확인하고 싶으신가요? 데모를 신청하세요: nikita@befailproof.ai로 이메일을 보내주세요.
실제 동작 확인하기
아래 두 개의 짧은 영상은 팀이 가장 먼저 찾는 두 가지 기능을 보여줍니다: 실행 추적과 자동 장애 감지입니다. 에이전트 추적: 목표 설정부터 툴 실행, 최종 응답까지 단일 실행을 단계별로 따라갑니다. Failproof Audit: FailproofAI Observability가 세션 전반의 로그를 분석하여 수정이 필요한 사항을 알려줍니다.팀들이 활용하는 이유
- 에이전트가 실제로 수행한 작업을 파악하세요. 모든 실행이 읽기 쉬운 git 스타일의 실행 그래프로 변환됩니다. 병렬 실행된 툴, 분기된 서브 에이전트, 지연된 지점, 그리고 리소스 사용량까지 한눈에 확인할 수 있습니다.
- 품질 저하를 자동으로 감지하세요. 소규모 스코어링 서비스를 연결하면 FailproofAI Observability가 완료된 모든 실행을 채점합니다. 유용성 저하나 할루시네이션 급증이 자동으로 포착됩니다.
- 규칙을 작성하지 않아도 장애를 발견하세요. 반복 감사를 통해 세션 전반의 로그에서 오류 클러스터, 지연 이상값, 낮은 점수, 중단된 실행을 탐색하고, 우선순위가 정해진 근거 기반의 발견 사항을 제공합니다.
- 중요한 순간에 알림을 받으세요. 오류율, 지연, 비용, 평가자 점수에 대한 임계값 규칙이 인시던트를 생성하며, 확인, 할당, 해결이 가능합니다.
- 자연어로 질문하세요. 대시보드 내 AI 어시스턴트가 여러분의 데이터를 기반으로 “이번 주 프로덕션의 품질 추세는 어떤가요?”와 같은 질문에 답합니다. AI가 변경하는 사항은 모두 승인이 필요합니다.
- 데이터를 직접 보관하세요. FailproofAI Observability는 셀프 호스팅 방식입니다. 이벤트, 프롬프트, 분석 데이터가 여러분이 관리하는 인프라에 저장됩니다.
제공되는 기능
FailproofAI Observability는 관찰(observe), 분석(analyze), 관리(admin) 의 세 가지 개념을 중심으로 구성되며, 대시보드 왼쪽 사이드바에 그대로 반영됩니다. 관찰 (발생한 일의 실제 기록):- 이벤트 스트림: 모든 실행의 단계별 실시간 기록 (툴 호출, 모델 호출, 훅, 오류).
- 세션: 이벤트를 실행 단위로 통합한 목록. 각 항목은 채점 준비가 완료된 상태이며 git 스타일의 실행 그래프를 포함합니다.
- 성능 지표: 모델, 툴, 훅별 지연 히트맵과 p50/p95/p99 지표. 꼬리 지연이 중앙값에서 두드러지게 표시됩니다.
- 오류 추적: 발생한 모든 오류를 하나의 트리아지 화면으로 제공하며, 발생 중인 알림에서 한 번의 클릭으로 접근할 수 있습니다.
- 쿼리 및 대시보드: 이벤트와 평가 데이터에 대한 저장된 SQL을 차트로 시각화하여 조직 범위의 공유 대시보드를 구성합니다.
- 평가: 자체 평가자 서비스가 생성한 품질 점수와 점수별 근거.
- 감사: 세션 전반의 장애 패턴을 발견하는 반복 조사.
- 알림 및 인시던트: 알림을 발생시키는 임계값 규칙과 트리아지를 위한 인시던트 워크플로.
- CLI: 터미널 또는 스크립트에서 전체 배포를 제어하고, 자연어로 코딩 에이전트가 작업을 수행하도록 할 수 있습니다.
- AI 어시스턴트: 대시보드 내에서 에이전트에 관한 질문을 자연어로 입력하세요.
- API 키: 컬렉터, 대시보드, 어시스턴트에 대한 범위 지정 토큰.
- 사용자: 허용 목록 기반의 패스워드리스 이메일 로그인.
- 설정: 모델 컨텍스트 창 오버라이드를 포함한 조직별 구성.
구성 요소 간의 연결 방식
데이터는 에이전트 코드에서 대시보드까지 단방향으로 흐릅니다. 에이전트(Python SDK를 통해)가 이벤트를 agenteye-collector로 전송하면, 이를 서버로 전달하고, 서버가 대시보드에 데이터를 제공합니다. 두 가지 선택적 서비스가 이를 보완합니다 — 스코어링 서비스(평가)와 AI 어시스턴트 서비스(대시보드 내 채팅).- Python SDK: 에이전트에
agenteye.event.*호출 몇 개를 추가하면 이벤트가 로컬에 버퍼링됩니다. - agenteye-collector: 각 에이전트 머신에서 실행되는 경량 데몬으로, 이벤트를 배치 처리하여 서버로 전송합니다.
- 서버: 이벤트를 수집하고 운영 상태를 자체 데이터베이스에 저장합니다.
- 대시보드: 모든 것을 탐색하는 공간.
- 선택적 서비스: 스코어링 서비스(평가)와 AI 어시스턴트 서비스(대시보드 내 채팅).
FailproofAI Observability 도입하기
FailproofAI Observability는 FailproofAI의 엔터프라이즈 제품으로, FailproofAI 브랜드 하에 정책 및 가드레일 제품인 FailproofAI Enforcement와 함께 작동합니다. 전적으로 여러분의 환경에서 실행됩니다. 아직 패키지에 접근할 수 없다면, 데모를 신청해 주세요. 설정을 도와드리겠습니다: nikita@befailproof.ai로 이메일을 보내주세요.다음 단계
- 개념: FailproofAI Observability 용어를 한 곳에서 정리.
- Observability: 실행별로 에이전트 동작을 추적.
- 보안: FailproofAI Observability가 데이터를 격리하고 제어권을 유지하는 방법.