評価のデプロイとバージョン管理

​

デプロイする

オーサリングページの下部にある deploy <key>@<version> を選択します。バージョンは一度公開すると変更できません。以降、完了したすべてのセッションのうち、条件に該当するものがこのバージョンによってスコアリングされます。

​

ライブ中の内容を確認する

Analyze → eval authoring には、組織がホストしている定義（マネージド評価者が実行する評価）の一覧が表示されます。各行には次の情報が含まれます。

• 名前、キー、バージョン、結果タイプ
• ソースチェックサム（コードを開かずにデプロイ済みリビジョンを識別するための値）
• conditional（条件付き）か all completed sessions（全完了セッション対象）か — 条件は評価を特定のエージェントや環境に絞り込むためのもの
• タイムアウト、ラベル、最終更新日時

一覧はキーワード検索や状態によるフィルタリングが可能です。自身のワーカーが登録した評価はここには表示されません。それらの結果は評価ページで customer タグとして表示され、ホスト型のものは managed タグで表示されます。 1つの組織が同時に有効にできるホスト評価は最大100件です。

​

新バージョンを公開する

行の new version を選択します。そのバージョンのコードを持つオーサリングページが開くので、変更してテストし、デプロイします。キーと結果タイプは引き継がれ、変更できません。 後継バージョンを公開すると、前のバージョンは無効化され、一覧には残り続けます。結果にはそれを生成したバージョンが記録されるため、グラフ上で新しいロジックがいつ適用されたかを正確に確認できます。

​

ロールバックする

現在のバージョンで disable を選択し、戻したいバージョンで enable を選択します。データは削除されず、すべての結果はそのまま保持されます。

​

評価を停止する

disable を選択します。有効なバージョンがなくなると、新しいセッションへの評価実行が停止します。自身のワーカーが実行している評価を停止するには、登録をやめてください。ワーカーから評価を削除するか、ワーカー自体を停止します。

​

既存セッションをスコアリングする

評価は将来に向かって実行されます。つまり、今デプロイしたバージョンは、それ以前に終了したセッションをスコアリングすることはありません。過去のセッションをスコアリングするには、eval オーサリングページの score sessions you already have を開き、最大90日間の期間を選択し、必要に応じて評価を1つ指定してから、実行前に件数を確認します。この件数が実際の実行対象数と一致しており、含まれるセッションと評価のペアごとに課金対象の評価となります。 差分のみが補完されます。すでにその評価の結果が存在するセッションはそのまま保持され、同じ期間を2回実行しても新たにスコアリングされるものはありません。 1つのセッションを再スコアリングしたい場合（修正後や正常終了しなかったセッションなど）は、そのセッションのページで re-evaluate を選択します。新しい結果はセッションの履歴に追加され、以前の結果は保持されます。

​

権限