> ## Documentation Index
> Fetch the complete documentation index at: https://docs.befailproof.ai/llms.txt
> Use this file to discover all available pages before exploring further.

# エージェントを評価する

> 完了したすべてのセッションを、自分で定義した評価でスコアリングします。ホスト型Pythonチェック、またはご自身のワーカー上のLLMジャッジを使用できます。

評価は、完了したエージェントセッションをスコアリングします。セッションが終了すると、適用される有効な評価がすべて実行され、その結果がトレースの横に表示される根拠とともに記録されます。

* 0〜1の**スコア**（オプションで合格・不合格を付与可能）
* **メトリクス**（カウント、時間、コストなど、単位付き）
* **アサーション**（合格または不合格）

## 2種類のエバリュエーター

|         | ホスト型Python                            | 自前のワーカー                                                  |
| ------- | ------------------------------------- | -------------------------------------------------------- |
| 記述場所    | ダッシュボードの **Analyze → eval authoring** | Pythonで、[Evaluator SDK](/ja/reference/evaluator-sdk) を使用 |
| 実行環境    | Failproof AI のマネージドエバリュエーター（サンドボックス内） | 自分のインフラ上                                                 |
| 適している用途 | 決定論的なコードベースのチェック                      | LLMジャッジ、モデル呼び出し、パッケージ、シークレット、ネットワークアクセス、重い処理             |

ホスト型Pythonは意図的にシンプルな設計です。1つの式のみ、インポートなし、ネットワーク接続なし。モデルが必要な処理——たとえば回答が適切だったかをスコアリングするLLMジャッジなど——は、代わりに自前のワーカーで実行します。どちらの種類もインバウンド接続は不要です。ワーカーは完了したセッションを取得し、アウトバウンドHTTPS経由で結果を送信します。

## 各組織は自分のエージェントを評価する

評価は、それを定義した組織に属します。インスタンス上の各組織は独自の評価——独自のチェック、条件、しきい値、ラベル——を作成し、他の組織に影響を与えることなくバージョン管理・デプロイし、自分の結果のみを参照できます。結果はエージェント、環境、評価、時間でフィルタリングしたり、アシスタントに問い合わせたりすることができます。

## 最初のドラフトからライブスコアまで

<Steps>
  <Step title="作成する">
    測定対象を説明してアシスタントにドラフトを作成させるか、自分で記述します。[評価を作成する](/ja/evaluations/write) を参照してください。
  </Step>

  <Step title="テストする">
    本番稼働前に実際のセッションに対して実行します。結果は保存されません。[評価をテストする](/ja/evaluations/test) を参照してください。
  </Step>

  <Step title="デプロイしてバージョン管理する">
    イミュータブルなバージョンをデプロイし、進化に合わせて新しいバージョンを公開し、以前のバージョンにロールバックします。[デプロイとバージョン管理](/ja/evaluations/deploy) を参照してください。
  </Step>

  <Step title="結果を確認する">
    スコアの推移をグラフ化し、エージェントや環境を比較し、アシスタントに問い合わせます。[評価結果を確認する](/ja/sessions/evaluations) を参照してください。
  </Step>
</Steps>

評価は前方向に実行されます。つまり、現在デプロイされたバージョンは、これ以降に完了するセッションをスコアリングします。すでに存在するセッションをスコアリングするには、[バックフィル](/ja/evaluations/deploy#既存セッションをスコアリングする) を行ってください。
