> ## Documentation Index
> Fetch the complete documentation index at: https://docs.befailproof.ai/llms.txt
> Use this file to discover all available pages before exploring further.
# 평가
> FailproofAI Observability 평가 기능 문서입니다.
이제 품질 문제가 먼저 찾아옵니다. 더 이상 사용자 불만을 통해 뒤늦게 알게 될 필요가 없습니다. 나만의 채점 서비스를 한 번만 연결해 두면, FailproofAI Observability가 완료된 모든 실행을 자동으로 채점합니다. 도움성이 떨어지거나 환각이 급증하는 경우, 사용자가 느끼기 전에 먼저 파악할 수 있습니다.
*세션 그리드의 모든 실행에 점수가 표시되며, 빨강·노랑·초록 배지를 통해 트랜스크립트를 하나도 열지 않고도 약한 실행이 한눈에 들어옵니다.*
## 수동 샘플링을 그만하세요
예전에는 몇 가지 실행만 골라 확인하고 나머지는 괜찮겠거니 기대했습니다. 이제는 완료된 모든 세션이 종료되는 즉시, 여러분이 중요하게 생각하는 기준인 도움성, 도구 효율성, 사실성, 안전성 등 다양한 차원에서 채점됩니다. 점수 키는 직접 정의하면 되고, FailproofAI Observability가 평가기가 반환하는 결과를 저장·추세 분석·표시합니다. 채점 없이 넘어가는 실행은 없으며, 지원 티켓을 통해 회귀를 뒤늦게 알게 되는 일도 사라집니다.
점수는 **`//sessions`**(사이드바 → *observe* → *sessions*)의 세션 그리드에서 각 행마다 배지 묶음으로 확인할 수 있습니다. 기준에 미달한 실행만 보고 싶다면? 예를 들어 도움성이 0.5 미만인 경우로 그리드를 필터링해서 읽을 가치가 있는 실행만 바로 불러올 수 있습니다. 점수 조회에는 `evaluations:read` 권한이 필요합니다.
## 낮은 점수의 원인 파악하기
숫자는 실행이 약했다는 사실을 알려주고, 세션 페이지는 그 이유를 알려줍니다. 실행을 열면 오른쪽 패널 상단에 전체 요약이 표시되고, 각 차원별 막대와 함께 평가기의 판단 근거가 표시되므로 "사실성 점수 0.4"에서 정확히 어떤 내용이 잘못되었는지 몇 초 만에 확인할 수 있습니다.
*세션 상세 보기: 요약, 차원별 점수 막대, 각 점수의 판단 근거가 실행의 이벤트 타임라인 바로 옆에 표시됩니다.*
더 정밀한 평가기를 배포했거나, 채점 전에 중단된 실행을 확인하고 싶다면? **재평가** 버튼(`evaluations:trigger` 권한 필요)을 사용하면 세션을 즉시 재채점하고 새 결과를 타임라인에 추가하면서, 이전 점수는 이력으로 남겨둡니다. \*\*`//sessions/`\*\*에서 찾을 수 있습니다.
## 전체 품질 추세 모니터링하기
실행 하나의 낮은 점수는 잡음이지만, 전체 그룹이 하락하는 것은 신호입니다. 저장된 대시보드를 통해 점수를 한눈에 모니터링할 수 있는 추세로 변환합니다. 지난주 대비 이번 주 평균 도움성, 에이전트별, 환경별로 확인할 수 있습니다.
*저장된 품질 대시보드는 주요 점수 키의 추세를 보여주므로, 느린 하락이 장애가 되기 훨씬 전에 명확히 파악할 수 있습니다.*
대시보드는 **`//dashboards`**(사이드바 → *analyze* → *dashboards*)에 있으며, 조직 전체에 공유됩니다. 각 카드는 일치하는 세션을 집계하여 세션 수, 주요 점수별 평균, 추세 스파크라인을 보여줍니다. "세션에서 열기"를 클릭하면 특정 수치 뒤에 있는 사전 필터링된 실행으로 바로 이동합니다. 조회에는 `dashboards:read`와 `evaluations:read` 권한이 필요합니다.
## 평가기 한 번만 연결하기
채점은 선택 사항이며, FailproofAI Observability를 채점기에 연결하기 전까지는 완전히 비활성화 상태입니다. 소규모 HTTP 서비스를 하나 구성하고(Observability가 복사하여 사용할 수 있는 참조 구현체를 제공합니다), 서버에 두 가지 값을 설정하면 그 이후의 모든 실행이 자동으로 채점됩니다. 전체 가이드, 채점 계약, SDK는 상세 가이드에서 확인할 수 있습니다.
## 관련 문서
* [평가 스위트](/ko/agenteye/evaluation-suite): 평가기 연결, 채점 계약, SDK.
* [세션](/ko/agenteye/sessions): 점수가 표시되는 실행별 그리드.
* [대시보드](/ko/agenteye/dashboards): 조직 전반의 품질 추세를 저장하고 공유.
* [감사](/ko/agenteye/audits): 교차 세션 조사를 위한 Observability의 또 다른 자동 품질 기능.