대시보드는 저장된 쿼리를 결합하여 운영 뷰를 구성합니다. 사용 가능한 모든 지표가 아니라, 누군가가 내려야 할 의사결정을 중심으로 구성하세요.
대시보드 만들기
-
분석 → 쿼리로 이동하여 저장된 쿼리를 생성하거나 열고 결과를 검증합니다.
-
대시보드에 추가를 선택한 후, 기존 대시보드를 선택하거나 분석 → 대시보드에서 새로 만듭니다.
-
대시보드를 열고 편집 모드로 진입하여 타일을 배치한 후 레이아웃을 저장합니다.
-
타일의 데이터나 필터를 변경해야 할 때는 해당 쿼리로 돌아갑니다.
대시보드 CRUD는 현재 Cloud CLI에 노출되어 있지 않습니다. CLI를 사용하여 저장된 쿼리를 빌드하고 검증한 후, UI에서 대시보드에 추가하세요.
유용한 대시보드 그룹은 다음과 같습니다:
- 모델: 볼륨, 레이턴시, 토큰 사용량, 오류율, 평가 점수
- 평가: 에이전트 또는 환경별 성공률 및 점수 추이
- 도구: 호출 볼륨, 실패율, 소요 시간, 반복 호출
- 훅 및 정책: 결정, 거부, 정책 매칭률
- 커스텀 워크플로우 지표: 직접 정의한 이벤트 필드 및 SQL 결과
저장된 쿼리에서 시작하여 결과를 검증한 후 타일로 추가하세요. 테스트 트래픽이 회귀를 숨기지 않도록 프로덕션과 개발 필터를 명시적으로 구분하세요.
모든 대시보드에 담당자와 응답 질문을 지정하세요. 예를 들어 “checkout-agent의 신뢰성이 지난주보다 낮아졌는가?”와 같은 형태로 작성합니다.