> ## Documentation Index
> Fetch the complete documentation index at: https://docs.befailproof.ai/llms.txt
> Use this file to discover all available pages before exploring further.

# FailproofAI Observability란 무엇인가요?

> FailproofAI Observability가 무엇인지 설명하는 문서입니다.

FailproofAI Observability는 프로덕션 환경의 AI 에이전트를 관찰, 평가, 개선하기 위한 셀프 호스팅 플랫폼입니다. 에이전트가 수행하는 모든 작업(툴 호출, 모델 요청, 훅, 오류)을 기록하고, 각 실행의 품질을 점수화하며, 미처 파악하지 못했던 장애를 드러냅니다. 이 모든 기능이 여러분의 인프라 내에서 직접 운영하는 대시보드로 제공됩니다.

AI 에이전트를 운영하면서 실행이 잘못된 이유를 추측하는 데 지쳐있다면, 여기서 시작하세요. 이 페이지는 설치 전에 FailproofAI Observability가 무엇을 제공하고 각 구성 요소가 어떻게 연결되는지 설명합니다.

> **FailproofAI Observability는 FailproofAI의 엔터프라이즈 제품입니다.** 직접 확인하고 싶으신가요? 데모를 신청하세요: [nikita@befailproof.ai](mailto:nikita@befailproof.ai)로 이메일을 보내주세요.

<img src="https://mintcdn.com/exosphere/kH8rXaL6tCSRWEFy/agenteye/images/session-detail.png?fit=max&auto=format&n=kH8rXaL6tCSRWEFy&q=85&s=32faaadcccf4e46964a8d1cfd84889e4" alt="git 스타일의 실행 그래프와 이벤트 타임라인이 나란히 표시된 FailproofAI Observability 세션. 오른쪽 패널에는 실행별 툴, 모델, 훅 분석이 표시됩니다" width="3200" height="2000" data-path="agenteye/images/session-detail.png" />

*모든 에이전트 실행은 git 스타일의 실행 그래프(왼쪽)와 이벤트 타임라인으로 시각화됩니다. 병렬 서브 에이전트는 각각의 레인을 가지며, 오른쪽 패널에서는 해당 실행의 툴, 모델, 훅, 토큰 사용량을 확인할 수 있습니다.*

***

## 실제 동작 확인하기

아래 두 개의 짧은 영상은 팀이 가장 먼저 찾는 두 가지 기능을 보여줍니다: 실행 추적과 자동 장애 감지입니다.

<div style={{ position: "relative", width: "100%", paddingBottom: "56.25%", height: 0, overflow: "hidden", borderRadius: "12px", margin: "1.5rem 0" }}>
  <iframe src="https://www.youtube.com/embed/VWxukZc5k7s?autoplay=1&mute=1&loop=1&playlist=VWxukZc5k7s&rel=0&playsinline=1" title="Watch: Agent Tracing by FailproofAI (2 min)" allow="autoplay; encrypted-media; picture-in-picture; fullscreen" allowFullScreen style={{ position: "absolute", top: 0, left: 0, width: "100%", height: "100%", border: 0 }} />
</div>

*에이전트 추적: 목표 설정부터 툴 실행, 최종 응답까지 단일 실행을 단계별로 따라갑니다.*

<div style={{ position: "relative", width: "100%", paddingBottom: "56.25%", height: 0, overflow: "hidden", borderRadius: "12px", margin: "1.5rem 0" }}>
  <iframe src="https://www.youtube.com/embed/C5nHKGQIqZQ?autoplay=1&mute=1&loop=1&playlist=C5nHKGQIqZQ&rel=0&playsinline=1" title="Watch: Automatically find where your agent is failing (2 min)" allow="autoplay; encrypted-media; picture-in-picture; fullscreen" allowFullScreen style={{ position: "absolute", top: 0, left: 0, width: "100%", height: "100%", border: 0 }} />
</div>

*Failproof Audit: FailproofAI Observability가 세션 전반의 로그를 분석하여 수정이 필요한 사항을 알려줍니다.*

***

## 팀들이 활용하는 이유

* **에이전트가 실제로 수행한 작업을 파악하세요.** 모든 실행이 읽기 쉬운 git 스타일의 실행 그래프로 변환됩니다. 병렬 실행된 툴, 분기된 서브 에이전트, 지연된 지점, 그리고 리소스 사용량까지 한눈에 확인할 수 있습니다.
* **품질 저하를 자동으로 감지하세요.** 소규모 스코어링 서비스를 연결하면 FailproofAI Observability가 완료된 모든 실행을 채점합니다. 유용성 저하나 할루시네이션 급증이 자동으로 포착됩니다.
* **규칙을 작성하지 않아도 장애를 발견하세요.** 반복 감사를 통해 세션 전반의 로그에서 오류 클러스터, 지연 이상값, 낮은 점수, 중단된 실행을 탐색하고, 우선순위가 정해진 근거 기반의 발견 사항을 제공합니다.
* **중요한 순간에 알림을 받으세요.** 오류율, 지연, 비용, 평가자 점수에 대한 임계값 규칙이 인시던트를 생성하며, 확인, 할당, 해결이 가능합니다.
* **자연어로 질문하세요.** 대시보드 내 AI 어시스턴트가 여러분의 데이터를 기반으로 "이번 주 프로덕션의 품질 추세는 어떤가요?"와 같은 질문에 답합니다. AI가 변경하는 사항은 모두 승인이 필요합니다.
* **데이터를 직접 보관하세요.** FailproofAI Observability는 셀프 호스팅 방식입니다. 이벤트, 프롬프트, 분석 데이터가 여러분이 관리하는 인프라에 저장됩니다.

***

## 제공되는 기능

FailproofAI Observability는 **관찰(observe)**, **분석(analyze)**, **관리(admin)** 의 세 가지 개념을 중심으로 구성되며, 대시보드 왼쪽 사이드바에 그대로 반영됩니다.

**관찰** (발생한 일의 실제 기록):

* **[이벤트 스트림](/ko/agenteye/event-stream)**: 모든 실행의 단계별 실시간 기록 (툴 호출, 모델 호출, 훅, 오류).
* **[세션](/ko/agenteye/sessions)**: 이벤트를 실행 단위로 통합한 목록. 각 항목은 채점 준비가 완료된 상태이며 git 스타일의 실행 그래프를 포함합니다.
* **[성능 지표](/ko/agenteye/telemetry)**: 모델, 툴, 훅별 지연 히트맵과 p50/p95/p99 지표. 꼬리 지연이 중앙값에서 두드러지게 표시됩니다.
* **[오류 추적](/ko/agenteye/error-tracking)**: 발생한 모든 오류를 하나의 트리아지 화면으로 제공하며, 발생 중인 알림에서 한 번의 클릭으로 접근할 수 있습니다.

<img src="https://mintcdn.com/exosphere/kH8rXaL6tCSRWEFy/agenteye/images/tools.png?fit=max&auto=format&n=kH8rXaL6tCSRWEFy&q=85&s=3f91782420c31a7f32a3572aa4fda266" alt="툴 관찰 페이지: 24개의 시간 구간에 걸친 지연 히트맵, 백분위 밴드, 툴 분포 바" width="3200" height="2000" data-path="agenteye/images/tools.png" />

*각 관찰 화면은 스파크라인과 p50/p95/p99 지표를 지연 히트맵 및 백분위 밴드와 함께 제공합니다. 여기에 표시된 것은 툴 화면입니다.*

**분석** (활동을 인사이트로 전환):

* **[쿼리](/ko/agenteye/queries)** 및 **[대시보드](/ko/agenteye/dashboards)**: 이벤트와 평가 데이터에 대한 저장된 SQL을 차트로 시각화하여 조직 범위의 공유 대시보드를 구성합니다.
* **[평가](/ko/agenteye/evaluations)**: 자체 평가자 서비스가 생성한 품질 점수와 점수별 근거.
* **[감사](/ko/agenteye/audits)**: 세션 전반의 장애 패턴을 발견하는 반복 조사.
* **[알림](/ko/agenteye/alerts)** 및 **[인시던트](/ko/agenteye/incidents)**: 알림을 발생시키는 임계값 규칙과 트리아지를 위한 인시던트 워크플로.

**인터페이스** (원하는 방식으로 데이터에 접근):

* **[CLI](/ko/agenteye/cli-and-agents)**: 터미널 또는 스크립트에서 전체 배포를 제어하고, 자연어로 코딩 에이전트가 작업을 수행하도록 할 수 있습니다.
* **[AI 어시스턴트](/ko/agenteye/assistant)**: 대시보드 내에서 에이전트에 관한 질문을 자연어로 입력하세요.

**관리** (팀을 위한 운영):

* **[API 키](/ko/agenteye/api-keys)**: 컬렉터, 대시보드, 어시스턴트에 대한 범위 지정 토큰.
* **사용자**: 허용 목록 기반의 패스워드리스 이메일 로그인.
* **설정**: 모델 컨텍스트 창 오버라이드를 포함한 조직별 구성.

***

## 구성 요소 간의 연결 방식

데이터는 에이전트 코드에서 대시보드까지 단방향으로 흐릅니다. 에이전트(Python SDK를 통해)가 이벤트를 agenteye-collector로 전송하면, 이를 서버로 전달하고, 서버가 대시보드에 데이터를 제공합니다. 두 가지 선택적 서비스가 이를 보완합니다 — 스코어링 서비스(평가)와 AI 어시스턴트 서비스(대시보드 내 채팅).

* **Python SDK**: 에이전트에 `agenteye.event.*` 호출 몇 개를 추가하면 이벤트가 로컬에 버퍼링됩니다.
* **agenteye-collector**: 각 에이전트 머신에서 실행되는 경량 데몬으로, 이벤트를 배치 처리하여 서버로 전송합니다.
* **서버**: 이벤트를 수집하고 운영 상태를 자체 데이터베이스에 저장합니다.
* **대시보드**: 모든 것을 탐색하는 공간.
* **선택적 서비스**: 스코어링 서비스(평가)와 AI 어시스턴트 서비스(대시보드 내 채팅).

문서 전반에서 사용되는 용어(*이벤트, 세션, 평가, 감사, 발견 사항, 인시던트*)는 [개념](/ko/agenteye/concepts)을 참조하세요.

***

## FailproofAI Observability 도입하기

FailproofAI Observability는 FailproofAI의 엔터프라이즈 제품으로, FailproofAI 브랜드 하에 정책 및 가드레일 제품인 FailproofAI Enforcement와 함께 작동합니다. 전적으로 여러분의 환경에서 실행됩니다. 아직 패키지에 접근할 수 없다면, 데모를 신청해 주세요. 설정을 도와드리겠습니다: [nikita@befailproof.ai](mailto:nikita@befailproof.ai)로 이메일을 보내주세요.

***

## 다음 단계

* [개념](/ko/agenteye/concepts): FailproofAI Observability 용어를 한 곳에서 정리.
* [Observability](/ko/agenteye/observability): 실행별로 에이전트 동작을 추적.
* [보안](/ko/agenteye/security): FailproofAI Observability가 데이터를 격리하고 제어권을 유지하는 방법.