Failproof AI Observability CLI エージェントスキル

​

他の Failproof AI Observability インターフェースとの関係

​

ダッシュボード内 AI アシスタントとの違い：重要な区別

• ダッシュボード内 AI アシスタント（AI アシスタント）はダッシュボードに埋め込まれたチャットで、エージェントサービスによってバックアップされています。読み取り専用＋承認ゲート付き作成：保存クエリやダッシュボードの下書きを作成できますが、書き込みはすべてあなたの明示的なクリック承認を求めて停止し、削除は行いません。agent:use 権限でゲートされており、閲覧中の組織のデータのみを参照します。
• CLI スキルは あなたの ワークステーション上の あなたの コーディングエージェント内で動作し、あなたとして agenteye CLI を操作します。API キーの作成・ローテーション・無効化、組織設定の変更、インシデントの解決、保存クエリの削除など、ミューテーションを含む CLI の全機能を実行できます。制限はあなたの CLI ログインの権限のみです。これらのコマンドを手動で実行するのと同じくらい慎重に扱ってください。

​

前提条件

1. agenteye CLI がインストール済みで PATH に通っていること（CLI リファレンス参照：pipx install agenteye）。
2. ダッシュボード URL が設定されていること（AGENTEYE_DASHBOARD_URL、またはエージェントが --base-url を渡す）。
3. ログイン済みセッション：事前に agenteye login を実行しておくこと。スキルはメールで送られるワンタイムコードによるログインを完了できません。セッションが存在しないか期限切れの場合（CLI 終了コード 4）、agenteye login を実行するよう案内します。

​

入手方法

​

スキルのインストール

# Claude Code、このプロジェクトのみ
npx skills add FailproofAI/skills --skill agenteye-cli -a claude-code

# すべてのプロジェクト（~/.claude/skills/ にインストール）
npx skills add FailproofAI/skills --skill agenteye-cli -a claude-code -g --copy

# Codex の場合
npx skills add FailproofAI/skills --skill agenteye-cli -a codex

npx skills list -a claude-code      # インストール済みスキルの確認
npx skills update agenteye-cli      # 最新バージョンに更新
npx skills remove agenteye-cli      # 削除

• Claude Code：agenteye-cli/ フォルダを ~/.claude/skills/（すべてのプロジェクト）または <リポジトリ>/.claude/skills/（そのリポジトリのみ）に配置します。Claude Code が自動検出します。/skills リストで確認するか、スキルの説明に合致する質問をするだけで確認できます。
• Codex（OpenAI）：Codex は同じ SKILL.md を読み込みます。バンドルされている agents/openai.yaml で allow_implicit_invocation: true が設定されているため、タスクが一致すると Codex が自動でスキルを選択します。明示的に呼び出す場合は $agenteye-cli を使用してください。

​

安全性：エージェントが CLI を実行するときミューテーションは確認を求めません

警告： エージェントに変更を加えさせる前に必ずお読みください。

• keys create / update / disable / regenerate
• users create / update / disable / enable
• settings set
• alerts create / update / delete / test
• 書き込み系の incidents サブコマンド：ack / assign / resolve / open / comment-add / comment-delete / subscribe / unsubscribe
• query create / update / delete
• agent rename / delete
• orgs switch

​

何を聞けるか

you   ▸ Is anything broken in the last day?

agent ▸ Running: agenteye --json errors --since 24h --aggregate
        3 error types in the last 24h. The biggest is TimeoutError
        (18 hits, all on the checkout-agent), then RateLimited (5).
        Want the failing sessions for TimeoutError?

you   ▸ Give CI a key that can only push events.

agent ▸ This creates an API key. I'll run:
          agenteye keys create ci --add events:add
        OK to proceed?

you   ▸ yes

agent ▸ Done. Key "ci" created with events:add only.
        The secret is shown only once, so store it now. I can't reprint it.

• 「過去24時間で何か壊れている・失敗しているものはある？」 → errors --since 24h --aggregate、その後詳細。
• 「セッション run-001 はなぜ失敗した？」 → events --session-id run-001 --all + evals --session-id run-001。
• 「今週の品質トレンドは？」 → evals --aggregate --since 7d、その後低スコアの実行を詳しく調査。
• 「CI にイベントのプッシュだけできるキーを作って。」 → keys create ci --add events:add（コマンドを提示し、作成してワンタイムシークレットを取得）。
• 「誰がアクセス権を持っている？Dana を読み取り専用にして。」 → users list → users update dana@… --permission-set read-only（あなたに確認後）。
• 「発火中のインシデントを Ack して私にアサインして。」 → incidents list --state firing → incidents ack <id> / incidents assign <id> you@…。

​

次のステップ

• CLI：agenteye のコマンドとフラグの完全リファレンス。
• エージェント向け CLI レシピ：コピペ可能な jq パターンと終了コードの処理。
• Evaluator エージェントスキル：agenteye evals が読み取るスコアを生成する評価器を構築するための兄弟スキル。
• Python SDK エージェントスキル：agenteye が読み取るテレメトリを送出するようにエージェントを計装する兄弟スキル。
• AI アシスタント：ダッシュボード内アシスタント（このターミナルスキルとは別物です）。
• API キー：スキルが実行できる内容を制限する組織ごとの権限モデル。