평가 배포 및 버전 관리

​

배포하기

작성 페이지 하단에서 <key>@<version> 배포를 선택하세요. 버전은 게시된 이후 불변 상태가 됩니다. 그 시점부터 완료된 모든 세션 중 조건에 해당하는 세션은 해당 버전으로 채점됩니다.

​

현재 운영 중인 항목 확인

Analyze → eval authoring에서 조직의 호스팅된 정의 목록, 즉 관리형 평가자가 실행하는 평가 항목들을 확인할 수 있습니다. 각 행에는 다음 정보가 표시됩니다.

• 이름, 키, 버전, 결과 유형
• 소스 체크섬 — 코드를 열어보지 않고도 배포된 리비전을 구별할 수 있습니다
• 조건부로 실행되는지, 완료된 모든 세션에 대해 실행되는지 여부 — 조건은 평가를 특정 에이전트나 환경으로 범위를 제한하는 기준입니다
• 타임아웃, 레이블, 마지막 변경 시각

목록을 검색하거나 상태별로 필터링할 수 있습니다. 직접 등록한 워커의 평가는 여기에 표시되지 않으며, 해당 결과는 evaluations 페이지에서 customer 태그로 표시되고, 호스팅된 평가는 managed 태그로 표시됩니다. 조직에서는 최대 100개의 서로 다른 호스팅 평가를 동시에 활성화할 수 있습니다.

​

새 버전 게시

해당 행에서 new version을 선택하세요. 해당 버전의 코드가 작성 페이지에 열립니다. 수정하고 테스트한 후 배포하세요. 키와 결과 유형은 그대로 유지되며 변경할 수 없습니다. 새 버전을 게시하면 이전 버전이 비활성화되고 목록에는 계속 남아 있습니다. 결과에는 해당 결과를 생성한 버전 정보가 유지되므로, 차트에서 새 로직이 적용된 시점을 정확히 확인할 수 있습니다.

​

롤백

현재 버전에서 disable을 선택하고, 복원하려는 버전에서 enable을 선택하세요. 아무것도 삭제되지 않으며, 모든 결과는 그대로 유지됩니다.

​

평가 중단

disable을 선택하세요. 활성화된 버전이 없으면 새 세션에 대해 실행이 중단됩니다. 직접 실행 중인 워커의 평가를 중단하려면, 워커에서 해당 평가를 제거하거나 워커를 중단하여 등록을 해제하세요.

​

기존 세션 채점

평가는 앞방향으로만 실행됩니다. 현재 배포된 버전은 배포 이전에 종료된 세션을 채점하지 않습니다. 과거 기록을 채점하려면 eval authoring 페이지에서 score sessions you already have를 열고, 최대 90일 범위의 기간을 선택한 후 선택적으로 단일 평가를 지정하여 실행 전에 건수를 확인하세요. 해당 건수가 정확히 실행될 대상이며, 포함된 각 세션-평가 쌍은 과금 대상 평가입니다. 이 기능은 누락된 항목만 채웁니다. 해당 평가에 대한 결과가 이미 있는 세션은 기존 결과를 유지하며, 동일한 기간을 두 번 실행해도 새로운 채점이 발생하지 않습니다. 수정 후 또는 정상적으로 종료되지 않은 세션에 대해 특정 세션을 다시 채점하려면, 해당 세션 페이지에서 re-evaluate를 선택하세요. 새 결과가 세션 기록에 추가되며, 이전 결과는 그대로 유지됩니다.

​

권한