온라인 평가

평가 품질 검토

Observe → Evaluations으로 이동합니다.
시리즈를 추가하고 에이전트, 환경, 평가 점수, 통계 및 곡선을 선택합니다.
시리즈를 추가하여 환경, 에이전트 또는 점수 키를 비교합니다.
결과를 선택하여 일치하는 세션을 열거나 필터링된 뷰를 공유합니다. 레이턴시, 토큰, 비용 및 기타 수치 값은 Observe → Metrics를 사용하세요.

드릴다운에서 세션을 열어 점수별 추론 내용을 확인하세요:

fp evals --agent-id checkout-agent --aggregate
fp evals --aggregate --env production --status error
fp evals --score helpfulness:0.8.. --since 7d

자동화를 위해 evals 앞에 전역 --json을 추가하세요. 예: fp --json evals --aggregate --env production.

평가자는 세션 식별 정보, 환경, 타임스탬프, 순서가 있는 이벤트를 수신합니다. 선택적 추론 및 요약과 함께 숫자 점수 키를 반환할 수 있습니다. 장시간 실행되는 평가자는 보류 중인 작업을 반환하고 나중에 폴링할 수 있습니다.

점수에서 대응으로

대시보드에 점수를 표시하여 트렌드를 추적하세요. 임계값 또는 복합 조건에 대한 알림을 생성하세요. 특정 집단에서 점수가 하락하면 감사를 실행하여 원인을 조사하고, 원인이 반복 가능한 행동인 경우 정책을 배포하세요.

평가자 빌드

Python 평가자 SDK를 사용하여 동기 또는 비동기 평가를 구현합니다.