온라인 평가 - Failproof AI

온라인 평가는 에이전트 세션에 일관된 판단을 적용합니다. 감사 시에만 조사하는 것이 아니라 지속적으로 측정해야 하는 신호에 활용하세요.

평가 품질 검토

대시보드
CLI

Observe → Evaluations으로 이동합니다.
시리즈를 추가하고 에이전트, 환경, 평가 점수, 통계, 커브를 선택합니다.
환경, 에이전트, 점수 키를 비교하기 위해 시리즈를 추가합니다.
결과를 선택하여 일치하는 세션을 열거나 필터링된 뷰를 공유합니다. 지연 시간, 토큰, 비용 및 기타 수치 값은 Observe → Metrics를 사용하세요.

드릴다운에서 세션을 열어 점수별 추론을 확인합니다:

완전한 트레이스 옆에 평가 점수와 추론을 보여주는 세션 상세 뷰.

fp evals --agent-id checkout-agent --aggregate
fp evals --aggregate --env production --status error
fp evals --score helpfulness:0.8.. --since 7d

자동화를 위해 evals 앞에 전역 --json 옵션을 추가하세요. 예: fp --json evals --aggregate --env production.

평가자는 세션 ID, 환경, 타임스탬프, 정렬된 이벤트를 수신합니다. 선택적 추론 및 요약과 함께 숫자 점수 키를 반환할 수 있습니다. 장시간 실행되는 평가자는 대기 중인 작업을 반환하고 나중에 폴링할 수 있습니다.

좋은 평가 대상

작업 완료 또는 정확성
근거 있는 응답 및 환각 위험
도구 선택 및 도구 효율성
정책 또는 프로세스 컴플라이언스
비용 및 지연 시간 예산
필수 인간 에스컬레이션

점수에서 대응으로

대시보드에 점수를 표시하여 트렌드를 추적합니다. 임계값 또는 복합 조건에 대한 알림을 생성합니다. 집단 전체에서 점수가 하락하면 감사를 실행하여 원인을 조사하고, 원인이 반복 가능한 동작인 경우 정책을 배포합니다.

평가자 빌드하기

Python 평가자 SDK를 사용하여 동기식 또는 비동기식 평가를 구현합니다.