> ## Documentation Index
> Fetch the complete documentation index at: https://docs.befailproof.ai/llms.txt
> Use this file to discover all available pages before exploring further.

# 온라인 평가

> 라이브 및 완료된 세션의 품질, 컴플라이언스, 비용, 지연 시간을 점수화합니다.

온라인 평가는 에이전트 세션에 일관된 판단을 적용합니다. 감사 시에만 조사하는 것이 아니라 지속적으로 측정해야 하는 신호에 활용하세요.

## 평가 품질 검토

<Tabs>
  <Tab title="대시보드">
    1. **Observe → Evaluations**으로 이동합니다.
    2. 시리즈를 추가하고 에이전트, 환경, 평가 점수, 통계, 커브를 선택합니다.
    3. 환경, 에이전트, 점수 키를 비교하기 위해 시리즈를 추가합니다.
    4. 결과를 선택하여 일치하는 세션을 열거나 필터링된 뷰를 공유합니다. 지연 시간, 토큰, 비용 및 기타 수치 값은 **Observe → Metrics**를 사용하세요.

           <img src="https://mintcdn.com/exosphere/WgPwQzedeDNwJBTy/images/dashboard/dashboard-quality.png?fit=max&auto=format&n=WgPwQzedeDNwJBTy&q=85&s=74c925ae831046fc869a3a3d6e81fc25" alt="평균 평가 점수와 시간에 따른 트렌드를 보여주는 품질 대시보드." width="2880" height="1800" data-path="images/dashboard/dashboard-quality.png" />

    드릴다운에서 세션을 열어 점수별 추론을 확인합니다:

    <img src="https://mintcdn.com/exosphere/WgPwQzedeDNwJBTy/images/dashboard/session-detail.png?fit=max&auto=format&n=WgPwQzedeDNwJBTy&q=85&s=7b5f022dd5c485565a8cd92b2e936235" alt="완전한 트레이스 옆에 평가 점수와 추론을 보여주는 세션 상세 뷰." width="3200" height="2000" data-path="images/dashboard/session-detail.png" />
  </Tab>

  <Tab title="CLI">
    ```bash theme={null}
    fp evals --agent-id checkout-agent --aggregate
    fp evals --aggregate --env production --status error
    fp evals --score helpfulness:0.8.. --since 7d
    ```

    자동화를 위해 `evals` 앞에 전역 `--json` 옵션을 추가하세요. 예: `fp --json evals --aggregate --env production`.
  </Tab>
</Tabs>

평가자는 세션 ID, 환경, 타임스탬프, 정렬된 이벤트를 수신합니다. 선택적 추론 및 요약과 함께 숫자 점수 키를 반환할 수 있습니다. 장시간 실행되는 평가자는 대기 중인 작업을 반환하고 나중에 폴링할 수 있습니다.

## 좋은 평가 대상

* 작업 완료 또는 정확성
* 근거 있는 응답 및 환각 위험
* 도구 선택 및 도구 효율성
* 정책 또는 프로세스 컴플라이언스
* 비용 및 지연 시간 예산
* 필수 인간 에스컬레이션

## 점수에서 대응으로

대시보드에 점수를 표시하여 트렌드를 추적합니다. 임계값 또는 복합 조건에 대한 알림을 생성합니다. 집단 전체에서 점수가 하락하면 감사를 실행하여 원인을 조사하고, 원인이 반복 가능한 동작인 경우 정책을 배포합니다.

<Card title="평가자 빌드하기" icon="code-2" href="/ko/reference/evaluator-sdk">
  Python 평가자 SDK를 사용하여 동기식 또는 비동기식 평가를 구현합니다.
</Card>