AgentEye とは?
AgentEye は AI エージェント向けのセルフホスト型観測・評価プラットフォームです。エージェントの動作(実行の各ステップ)を記録し、完了した実行の品質を自動でスコアリングします。これにより、本番環境でのエージェントの挙動を把握し、ユーザーが問題に気づく前にリグレッションを検出できます。 データは一方向に流れます。エージェントコードが Python SDK を通じて イベント を送出 → 軽量な コレクター デーモンがイベントをバッチ処理して サーバー に送信 → イベントと分析データが ClickHouse に保存(組織、ユーザー、API キー、ダッシュボード、保存クエリなどの運用状態は Postgres に格納)→ すべてを ダッシュボード で閲覧。 主な機能:- イベント — 各エージェント実行のステップごとの生データ(ツール呼び出し、モデル呼び出し、フック、エラー)。
- セッション — それらのイベントを実行ごとの1行にまとめたもの。各実行は自動評価されてスコアが付与されます。
- 評価 — 独自の評価サービスが生成する品質スコア。手動レビューなしに品質低下を検出できます。
- クエリ&ダッシュボード — データに対して保存した ClickHouse SQL を、共有・組織スコープのダッシュボードにグラフ表示。
- アラート&インシデント — 閾値ルールによる通知(メール、Slack、Webhook、ダッシュボード内)と、トリアージのためのインシデントワークフロー。
- CLI&AI アシスタント — ターミナルクライアント(
agenteye)と、自然言語で質問できるダッシュボード内アシスタント。
ステップ 1: 認証
AgentEye のすべての成果物はagenteye-enterprise GitHub 組織から配布されています。エンタープライズ開発者は自分の GitHub PAT を生成できます。正確な手順と必要な権限については enterprise-docs/github-token.md を参照してください。
ステップ 2: サーバーとダッシュボードをデプロイする
サーバーはコレクターからイベントを受信してクエリ可能な状態にし、ダッシュボードはそれを閲覧する場所です。取り込まれたイベントと分析データは ClickHouse(必須の分析ストア)に保存され、Postgres には組織、ユーザー、API キー、ダッシュボード、保存クエリなどの運用状態が格納されます。 公開されている Compose ファイルをダウンロード:admin 認証情報で動かないよう、.env ファイルを作成します。最低限 ADMIN_KEY と POSTGRES_PASSWORD を設定してください:
http://localhost:8080、ダッシュボードは http://localhost:3000 でリッスンしています。
本番デプロイ(カスタム Postgres、TLS、リバースプロキシ)については enterprise-docs/deployment.md を参照してください。
ステップ 3: コレクター用 API キーを作成する
各コレクターはスコープ付き API キーで認証します。ステップ 2 で設定したADMIN_KEY を使って API キーを作成します:
key の値は自分で指定します。ステップ 4 のコレクター設定でこの値を使用してください。キー管理の詳細は enterprise-docs/api-keys.md を参照してください。
ステップ 4: コレクターをインストールする
AI エージェントを実行するすべてのマシンにコレクターデーモンをインストールします。 バイナリをダウンロード(Linux x86_64):これは Linux x86_64 ビルドをダウンロードします。macOS(Apple Silicon または Intel)、Linux arm64、または Docker / systemd / launchd のセットアップについては collector-installation.md を参照してください。各プラットフォームのダウンロード先が記載されています。上記コマンドは Linux バイナリをインストールするため、他の環境では動作しません。設定:
ステップ 5: Python SDK をインストールする
エージェントコードを計装したい各マシンに、GitHub Releases から wheel をインストールします。ステップ 6: エージェントを計装する
エージェントコードにイベントを追加します。最低限、agent_start と agent_end を送出してください:
$AGENTEYE_HOME/events/(AGENTEYE_HOME が未設定の場合は ~/.agenteye/events/)にフラッシュされます。コレクターが自動的に処理します。
イベント API の詳細は enterprise-docs/python-sdk.md を参照してください。
ステップ 7: ダッシュボードでイベントを確認する
http://your-dashboard-host:3000 を開いてサインインします。AgentEye はワンタイムコード(またはワンクリックのマジックリンク)をメールで送信するため、パスワード管理は不要です。

session_id や agent_id でフィルタリングして特定の実行にドリルダウンできます。



ステップ 8: 探索、チャート表示、アラート設定
イベントが流れ始めると、analyze ページで未加工のアクティビティを実用的な知見に変換できます。エージェントの挙動を計測し、チームで知見を共有し、問題が発生した瞬間に通知を受け取ることができます。ダッシュボードページは組織スコープで、アドレスバーに表示される URL は組織スラグ(/<org>/…)でプレフィックスされます。
- Queries(
/<org>/queries):イベントと評価データに対する保存済み再利用可能なクエリのライブラリ(組み込みプリセットと独自クエリ)から始めます……


- Dashboards(
/<org>/dashboards):クエリを折れ線、棒、エリア、円グラフのタイルとして固定し、共有・組織全体のダッシュボードを作成。

- Alerts(
/<org>/alerts):任意の閾値をページングルールに昇格させ、メール、Slack、Webhook、またはダッシュボード内で通知を受け取ります。enterprise-docs/alerts.md を参照してください。
次のステップ
- デプロイメント:本番環境向けの強化
- API キー:アクセス管理
- トラブルシューティング:問題の診断

