agenteye-evaluator）は Agent Skill です。Claude Code や Codex などのコーディングエージェントがオンデマンドで読み込む、小さなフォルダー形式の指示セットです。このスキルにより、エージェントはあなたのエージェントにとってトラッキングすべき品質ディメンションを特定し、それらをスコアリングするエバリュエーターサービスを記述・テスト・デプロイできるようになります。
これはホスト型スコアラーでも、アップロード先のレジストリでも、プラグインシステムでもありません。エバリュエーターはEvaluation suiteガイドに記載されているとおり、あなた自身のインフラ上で動作するHTTPサービスとして完全にあなたのものです。スキルはエージェントがそれをうまく構築できるよう教えるだけであり、エージェントが行うことはすべて、あなた自身が同じコードを書くことでも実現できます。
難しいのは「何をスコアリングするか」を決めること
SDKのインターフェースは小さく、デコレーターとふたつのモデルだけです。エージェントはコントラクトだけからそれを書けます。エバリュエーターが失敗する理由はそこではありません。間違ったものをスコアリングするから失敗するのです。そして間違ったものをスコアリングするエバリュエーターは、ないよりも悪いです。誰もが無視するようになるダッシュボードを生み出すからです。 そのため、スキルの大半はコードが存在する前の段階に費やされます。エージェントがあなたにインタビューし（「うまくいった実行を説明してください。次に、うまくいかなかったものを」）、agenteye CLIを使って実際のセッションを取得し、最初から最後まで読み込みます。この2つの半分は往々にして食い違います。そしてそのギャップこそが重要な点です。つまり、あなたが測定しようとしているものと、実際のトランスクリプトがサポートできるものの差異です。ディメンションが生き残るのは、イベントから計算可能であり、かつ識別力がある場合のみです。良い実行と悪い実行の両方で0.9のスコアが出るなら、何も教えてくれないため除外されます。
返ってくるのは、根拠を添えた2〜4のディメンションの提案であり、1行のコードが書かれる前にあなたが承認します。
他のエバリュエーション関連ドキュメントとの関係
スコアリングに関するドキュメントは4つあり、順番に引き継がれます。CLIスキルとの違い：構築か読み取りか
2つのスキルは意図的に重複しないよう設計されており、両方インストールするのが通常のセットアップです。エージェントはあなたのリクエストに基づいて使い分けます。agenteye-evaluator（本ドキュメント）はスコアを生み出すものを構築します。スコアが初めて表示された時点でその役割は終わります。agenteye-cliはすでに存在するスコアを読み取ります（agenteye evals）。「今週、品質は落ちましたか？」という問いに答えるのはこちらであり、本スキルの役割ではありません。
前提条件
agenteyeCLIのインストールとログイン（pipx install agenteye、次にagenteye login）。スキルはこれを2回使います：設計の基となる実際のセッションを取得するときと、最後にスコアが反映されたことを確認するときです。ログインにはevents:readと、最終確認のためにevaluations:readが必要です。CLIスキルと同様に、メールで送られるワンタイムコードのログインを代わりに完了させることはできません。- エバリュエーターの置き場所。 イメージとしてビルドされ、常駐サービスとして実行されるため、一時ファイルではなく実際のリポジトリが必要です。エバリュエーターはスコアリング対象のエージェントとは別のリポジトリに置かれることが多く、スキルは既存のリポジトリを探し、新たにスキャフォールドする前に確認を求めます。
agenteye-evaluatorSDK wheel — エージェントがpipコマンドを打ち始める前に次のセクションを読んでください。
入手方法
スキルはFailproof AIの公開スキルコレクションで公開されています： github.com/FailproofAI/skills →skills/agenteye-evaluator/
リポジトリは公開されており、スキル自体には固有の認証情報は不要です。あなたがログインしているセッションでagenteye CLIを操作し、あなたのリポジトリにコードを書くだけです。スキルは独自のフォルダーとして提供されており、pipx install agenteyeパッケージには含まれていないことに注意してください。
スキルのインストール
最も手軽な方法はskills CLIです。フォルダーを取得してエージェントが参照する場所に配置します：
SKILL.md（とオプションの参照ファイル）を含むフォルダーにすぎないため、コピーするだけでも動作します：
- Claude Code:
agenteye-evaluator/フォルダーを~/.claude/skills/（すべてのプロジェクト）または<your-repo>/.claude/skills/（そのリポジトリのみ）に置きます。Claude Codeが自動的に認識します。/skillsリストで確認するか、エバリュエーションについて質問してみてください。 - Codex（OpenAI）: Codexも同じ
SKILL.mdを読みます。バンドルされているagents/openai.yamlがallow_implicit_invocation: trueを設定しているため、タスクが一致した場合にCodexが自動的にスキルを選択します。それ以外の場合は$agenteye-evaluatorとして明示的に呼び出してください。
SDKは公開PyPIにはありません
警告: エージェントにSDKをインストールさせる前に必ずお読みください。スキルは公開されていますが、それが使用するSDKは公開されていません。
agenteye-evaluatorはプライベートリリースのアーティファクトとしてのみ提供されており、agenteyeとは異なり、その名前は公開PyPIで未請求です。つまり、裸のpip install agenteye-evaluatorを実行すると、第三者のパッケージを本番のトランスクリプトを読み取るサービスに取り込んでしまう可能性があります。これはタイポではなく、サプライチェーンの問題です。
スキルはこれを把握しており、代わりにインストールの優先順位に従って動作します。最初に該当する段階で停止します：AgentEyeリポジトリ内にいる場合はモノリポのソース、それ以外の場合はGitHub Releasesのプライベートリリースwheel（アクセス権が必要）、どちらにもアクセスできない場合は即興せずに、Failproof AIの担当者にwheelを問い合わせるよう伝えて停止します。
エージェントが公開PyPIからの裸のpip install agenteye-evaluatorを提案した場合、それはスキルが読み込まれていないサインです。その場でインストールを確認してください。
使い方の例
実際のやり取りは漠然とした依頼から始まり、コードが書かれる前に承認済みの設計で終わります：JobPendingで非同期処理します。
その後デプロイし、2つのサーバー環境変数を設定し、agenteye --json evals --session-id <id>でスコアが実際に反映されたことを確認します。スコアが反映されることが唯一の証明です。
注意事項
- ディメンション名はほぼ永続的です。 スコアキーは任意の文字列であり、プラットフォームは送信したものをトレンドとして追跡します。つまり、ダウンストリームで誤った選択を修正する仕組みはありません。後から名前を変えると履歴が分断されます：古いセッションは古いキーを保持し、トレンドが壊れます。スキルがコードを書く前に明示的な承認を求めるのはこのためです。そのプロンプトを真剣に受け止めてください。
- フィクスチャーは実際の本番トランスクリプトです。 実際のセッションを基に設計するということは、それらをディスクに取得することを意味し、顧客データが含まれている可能性があります。スキルはgitにコミットする前に確認を求めます。不安な場合は
fixtures/をリポジトリから除外し、各開発者が自分自身でセッションを取得するようにしてください。 - エージェントはすべてのトランスクリプトを読み取るサービスを構築・デプロイします。 CLIログインの権限の範囲内であなたとして動作しますが、本番データに触れる他のコードと同様にエバリュエーターをレビューしてください。
次のステップ
- Evaluation suite：スキルが設定するHTTPコントラクト、SDK、サーバー環境変数。
- Evaluations：スコアが反映された後に表示される場所。
- CLIスキル：スコアラーを構築するのではなく結果を読み取るための兄弟スキル。
- CLI：スキルが設計の基として使うセッションデータのコマンドリファレンス。