- 0〜1のスコア（オプションで合格・不合格を付与可能）
- メトリクス（カウント、時間、コストなど、単位付き）
- アサーション（合格または不合格）
2種類のエバリュエーター
ホスト型Pythonは意図的にシンプルな設計です。1つの式のみ、インポートなし、ネットワーク接続なし。モデルが必要な処理——たとえば回答が適切だったかをスコアリングするLLMジャッジなど——は、代わりに自前のワーカーで実行します。どちらの種類もインバウンド接続は不要です。ワーカーは完了したセッションを取得し、アウトバウンドHTTPS経由で結果を送信します。
各組織は自分のエージェントを評価する
評価は、それを定義した組織に属します。インスタンス上の各組織は独自の評価——独自のチェック、条件、しきい値、ラベル——を作成し、他の組織に影響を与えることなくバージョン管理・デプロイし、自分の結果のみを参照できます。結果はエージェント、環境、評価、時間でフィルタリングしたり、アシスタントに問い合わせたりすることができます。最初のドラフトからライブスコアまで
1
作成する
測定対象を説明してアシスタントにドラフトを作成させるか、自分で記述します。評価を作成する を参照してください。
2
テストする
本番稼働前に実際のセッションに対して実行します。結果は保存されません。評価をテストする を参照してください。
3
デプロイしてバージョン管理する
イミュータブルなバージョンをデプロイし、進化に合わせて新しいバージョンを公開し、以前のバージョンにロールバックします。デプロイとバージョン管理 を参照してください。
4
結果を確認する
スコアの推移をグラフ化し、エージェントや環境を比較し、アシスタントに問い合わせます。評価結果を確認する を参照してください。