수동 샘플링을 그만하세요
예전에는 몇 가지 실행만 골라 확인하고 나머지는 괜찮겠거니 기대했습니다. 이제는 완료된 모든 세션이 종료되는 즉시, 여러분이 중요하게 생각하는 기준인 도움성, 도구 효율성, 사실성, 안전성 등 다양한 차원에서 채점됩니다. 점수 키는 직접 정의하면 되고, FailproofAI Observability가 평가기가 반환하는 결과를 저장·추세 분석·표시합니다. 채점 없이 넘어가는 실행은 없으며, 지원 티켓을 통해 회귀를 뒤늦게 알게 되는 일도 사라집니다. 점수는/<org-slug>/sessions(사이드바 → observe → sessions)의 세션 그리드에서 각 행마다 배지 묶음으로 확인할 수 있습니다. 기준에 미달한 실행만 보고 싶다면? 예를 들어 도움성이 0.5 미만인 경우로 그리드를 필터링해서 읽을 가치가 있는 실행만 바로 불러올 수 있습니다. 점수 조회에는 evaluations:read 권한이 필요합니다.
낮은 점수의 원인 파악하기
숫자는 실행이 약했다는 사실을 알려주고, 세션 페이지는 그 이유를 알려줍니다. 실행을 열면 오른쪽 패널 상단에 전체 요약이 표시되고, 각 차원별 막대와 함께 평가기의 판단 근거가 표시되므로 “사실성 점수 0.4”에서 정확히 어떤 내용이 잘못되었는지 몇 초 만에 확인할 수 있습니다.
evaluations:trigger 권한 필요)을 사용하면 세션을 즉시 재채점하고 새 결과를 타임라인에 추가하면서, 이전 점수는 이력으로 남겨둡니다. **/<org-slug>/sessions/<session-id>**에서 찾을 수 있습니다.
전체 품질 추세 모니터링하기
실행 하나의 낮은 점수는 잡음이지만, 전체 그룹이 하락하는 것은 신호입니다. 저장된 대시보드를 통해 점수를 한눈에 모니터링할 수 있는 추세로 변환합니다. 지난주 대비 이번 주 평균 도움성, 에이전트별, 환경별로 확인할 수 있습니다.
/<org-slug>/dashboards(사이드바 → analyze → dashboards)에 있으며, 조직 전체에 공유됩니다. 각 카드는 일치하는 세션을 집계하여 세션 수, 주요 점수별 평균, 추세 스파크라인을 보여줍니다. “세션에서 열기”를 클릭하면 특정 수치 뒤에 있는 사전 필터링된 실행으로 바로 이동합니다. 조회에는 dashboards:read와 evaluations:read 권한이 필요합니다.