オンライン評価

評価品質のレビュー

Observe → Evaluations に移動します。
シリーズを追加し、エージェント・環境・評価スコア・統計値・カーブを選択します。
シリーズを追加して、環境・エージェント・スコアキーを比較します。
結果を選択して対応するセッションを開くか、フィルタリングされたビューを共有します。レイテンシ・トークン数・コスト・その他の数値には Observe → Metrics を使用してください。

ドリルダウンからセッションを開くと、スコアごとの推論内容を確認できます。

fp evals --agent-id checkout-agent --aggregate
fp evals --aggregate --env production --status error
fp evals --score helpfulness:0.8.. --since 7d

自動化のためにグローバルオプション --json を evals の前に付けてください。例：fp --json evals --aggregate --env production

エバリュエーターは、セッション識別子・環境・タイムスタンプ・順序付きイベントを受け取ります。オプションの推論内容とサマリーを含む数値スコアキーを返すことができます。長時間実行されるエバリュエーターは保留中のジョブを返し、後でポーリングすることも可能です。

スコアから対応へ

スコアをダッシュボードに表示してトレンドを追跡します。閾値や複合条件に対してアラートを作成します。スコアが集団全体で低下した場合は監査を実施して原因を調査し、原因が再現可能なアクションである場合はポリシーを展開します。

エバリュエーターの構築

Python エバリュエーター SDK を使用して、同期または非同期の評価を実装します。