agenteye-evaluator）はエージェントスキルです。Claude Code や Codex などのコーディングエージェントがオンデマンドで読み込む、小さな命令のフォルダーです。このスキルは、エージェントがあなたのエージェントにとって追跡すべき品質軸を判断し、それをスコアリングする評価サービスを作成・テスト・デプロイする方法を教えます。
これはホスト型のスコアラーでも、アップロード先のレジストリでも、プラグインシステムでもありません。評価サービスはEvaluation suiteガイドに記載のとおり、あくまでご自身のインフラ上で動作するHTTPサービスとして、あなた自身のものとして維持されます。このスキルは、エージェントがそれをうまく構築できるよう教えるだけです。スキルが行うことは、同じコードを自分で書けばすべて自分でも実現できます。
難しいのは、何をスコアリングするかを決めること
SDKのサーフェスは小さく、デコレーターとふたつのモデルだけです。エージェントはコントラクトだけからでもそれを書くことができます。評価システムが失敗するのはそこではありません。失敗の原因は、間違ったものをスコアリングすることです。そして間違ったものをスコアリングする評価システムは、ないよりも悪い結果をもたらします。誰もが無視することを覚えてしまうダッシュボードを生み出すからです。 だから、スキルの大部分はコードが存在する前の段階にあります。スキルはエージェントにあなたへのインタビューをさせます（「うまくいったセッションを説明してください。次に、うまくいかなかったものを」）。そしてagenteye CLIを通じて実際のセッションを取得し、最初から最後まで読み込みます。この２つの側面は通常一致せず、そのギャップこそが重要です。あなたが測定したいと意図していることと、実際のトランスクリプトがサポートできることの差です。ある軸が残るのは、イベントから算出可能で、かつ識別力がある場合のみです。良いセッションでも悪いセッションでも0.9のスコアになるなら、何も教えてくれないため除外されます。
返ってくるのは、コードが一行も書かれる前に、あなたが承認するための理由付きの2〜4軸の提案です。
他の評価コンポーネントとの関係
スコアリングに関するドキュメントは4つあり、順番に引き継ぎ合います。CLIスキルとの違い：構築 vs. 読み取り
ふたつのスキルは意図的に重複しないよう設計されており、両方インストールするのが通常の構成です。エージェントはあなたの質問内容に応じてどちらを使うか選択します。agenteye-evaluator（このドキュメント）はスコアを生成するものを構築します。初めてスコアが出るところでその役割を終えます。- **
agenteye-cli**はすでに存在するスコアを読み取ります（agenteye evals）。「今週、品質は下がったか？」がその問いであり、このスキルの問いではありません。
前提条件
agenteyeCLIのインストールとログイン（pipx install agenteye、その後agenteye login）。スキルはこれを2回使います。設計の元となる実際のセッションを取得するときと、最後にスコアが届いたことを確認するときです。ログインにはevents:readと、最終確認のためのevaluations:readが必要です。CLIスキルと同様に、メールで届くワンタイムコードを使ったログインを代行することはできません。- 評価サービスを置く場所。 サービスはイメージとしてビルドされ、常駐するサービスとして実行されます。そのため、一時的なファイルではなく、正式なリポジトリが必要です。評価サービスはスコアリング対象のエージェントとは別のリポジトリに置かれることが多く、スキルは既存のリポジトリを探し、新しくスキャフォールドする前に確認を求めます。
agenteye-evaluatorSDKホイール — エージェントがpipコマンドを打ち始める前に次のセクションを読んでください。
入手先
スキルはFailproof AIの公開スキルコレクションで公開されています。 github.com/FailproofAI/skills →skills/agenteye-evaluator/
リポジトリは公開されており、スキル自体に認証情報は不要です。ログインしたセッションでagenteye CLIを操作し、あなたのリポジトリにコードを書くだけです。スキルは独自のフォルダーとして配布されており、pipx install agenteyeパッケージには含まれていません。そちらで探さないようにしてください。
スキルのインストール
最も手軽な方法はskills CLIを使うことです。フォルダーを取得し、エージェントが参照する場所に配置します。
SKILL.md（とオプションの参照ファイル）を含むフォルダーにすぎないため、コピーするだけでも動作します。
- Claude Code：
agenteye-evaluator/フォルダーを~/.claude/skills/（全プロジェクト共通）または<your-repo>/.claude/skills/（そのリポジトリのみ）に置いてください。Claude Codeは自動で認識します。/skillsリストで確認するか、evalについて質問してみてください。 - Codex（OpenAI）：Codexも同じ
SKILL.mdを読み取ります。同梱のagents/openai.yamlにallow_implicit_invocation: trueが設定されているため、タスクが一致するとCodexが自動でスキルを選択します。明示的に呼び出す場合は$agenteye-evaluatorと指定してください。
SDKは公開PyPIにありません
警告： エージェントにSDKをインストールさせる前にこのセクションを読んでください。スキルは公開されていますが、それが使用するSDKは公開されていません。
agenteye-evaluatorはプライベートのリリース成果物としてのみ配布されており、agenteyeと異なり、公開PyPIではパッケージ名が未取得です。そのため、pip install agenteye-evaluatorと単純に実行すると、第三者のパッケージが本番のトランスクリプトを読み取るサービスに取り込まれる可能性があります。これはタイポの問題ではなく、サプライチェーンのリスクです。
スキルはこれを認識しており、代わりにインストールの優先順位を順番に確認します。AgentEyeのリポジトリ内であればモノレポのソース、そうでなければGitHub Releases（アクセス権が必要）からのプライベートリリースホイール、いずれも利用できない場合は、その場での代替策をとるのではなく、Failproof AIの担当者にホイールを問い合わせるよう案内して停止します。
したがって、エージェントが公開PyPIからpip install agenteye-evaluatorを単純に提案してきた場合、それはスキルが読み込まれていないサインです。その場で止めて、スキルが正しくインストールされているか確認してください。
何を依頼できるか
実際のやり取りは、漠然とした依頼から始まり、コードではなく承認済みの設計で終わります。JobPendingで非同期処理を選択します。
そしてデプロイし、2つのサーバー環境変数を設定し、agenteye --json evals --session-id <id>でスコアが実際に届いたことを確認します。スコアが届くことだけが唯一の証明です。
注意すべき点
- 軸の名前はほぼ永続的です。 スコアのキーは任意の文字列であり、プラットフォームは送信された値をそのままトレンド表示します。つまり、後から誰かが悪い選択を修正することはありません。後から名前を変更すると履歴が分裂します。古いセッションは古いキーを保持し、トレンドが壊れます。だからこそスキルはコードを書く前に明示的な承認を求めます。そのプロンプトを真剣に受け止めてください。
- フィクスチャーは実際の本番トランスクリプトです。 実際のセッションを元に設計するということは、それらをディスクに取得することを意味し、顧客データが含まれている可能性があります。スキルはgitにコミットする前に確認を求めます。不安な場合は
fixtures/をリポジトリから除外し、各開発者が自分でセッションを取得するようにしてください。 - エージェントはすべてのトランスクリプトを読み取るサービスを作成・デプロイします。 CLIログインの権限の範囲内であなたとして動作しますが、本番データに触れる他のコードと同様に、評価サービスをレビューしてください。
次のステップ
- Evaluation suite：スキルが設定するHTTPコントラクト、SDK、サーバー環境変数。
- Evaluations：スコアが届いた後に表示される場所。
- CLIスキル：スコアラーを構築するのではなく結果を読み取るための、姉妹スキル。
- CLI：スキルが設計の元となるセッションデータのコマンドリファレンス。