agenteye-cli)是一种 Agent Skill:一个包含说明文件的小型文件夹,供 Claude Code 或 Codex 等编程 Agent 按需加载。它使 Agent 能够通过 agenteye CLI,以自然语言请求(如「给 CI 创建一个只能推送事件的密钥」或「确认正在触发的告警并将其分配给我」*)来操作你的可观测性部署。
它不是服务或独立的二进制文件,无需任何部署。它构建在你已安装的 CLI 之上:Agent 调用 agenteye --json …,解析干净的 JSON,然后用自然语言回答你。它能做的一切,你都可以自己输入相同的命令来完成。
与 Failproof AI 可观测性其他接口的关系
Failproof AI 可观测性提供四种方式访问相同的数据和控制功能,它们相互补充:
Skill 本身没有任何特权,它只是将你的语言转化为以你身份运行的 CLI 调用:
与仪表盘内置 AI 助手的重要区别
这是两个截然不同的工具,影响范围差异显著:- 仪表盘内置 AI 助手(AI 助手)是嵌入仪表盘的聊天功能,由 Agent 服务提供支持。它只读,且写入操作需要明确审批:可以起草已保存的查询和仪表盘,但每次写入都会暂停并等待你的明确点击确认,且不会执行删除操作。它受
agent:use权限限制,只能查看你当前所在组织的数据。 - CLI skill 在你的工作站上运行,在你的编程 Agent 内部以你的身份驱动
agenteyeCLI。它可以执行 CLI 的全部功能,包括变更操作(创建/轮换/禁用 API 密钥、修改组织设置、解决告警、删除已保存的查询),仅受你的 CLI 登录权限约束。请像对待手动输入这些命令一样谨慎对待它。
前置条件
- 已安装
agenteyeCLI 并添加到PATH(参见 CLI 参考文档:pipx install agenteye)。 - 已设置仪表盘 URL(
AGENTEYE_DASHBOARD_URL,或由 Agent 传入--base-url)。 - 已登录会话:需先自行运行
agenteye login。Skill 无法代你完成邮件一次性验证码登录;若会话缺失或过期(CLI 退出码4),它会提示你运行agenteye login。
获取方式
Skill 发布于 Failproof AI 的公开 skill 集合中: github.com/FailproofAI/skills →skills/agenteye-cli/
无任何访问限制——该仓库完全公开,skill 本身不需要任何凭证,因为它只是使用你登录的会话,通过公开的 agenteye CLI 访问你的仪表盘。你无需向任何人申请。
请注意,它作为独立文件夹发布,不包含在 pipx install agenteye 包中,请勿在该包中查找。
安装 Skill
最快捷的方式是使用skills CLI,它会自动获取文件夹并放置到 Agent 的查找路径中:
SKILL.md(以及可选参考文件)的文件夹,直接复制即可:
- Claude Code:将
agenteye-cli/文件夹放入~/.claude/skills/(所有项目)或<你的仓库>/.claude/skills/(仅该仓库)。Claude Code 会自动发现它——通过/skills列表验证,或直接提问一个与其描述匹配的问题。 - Codex(OpenAI):Codex 读取相同的
SKILL.md。内置的agents/openai.yaml设置了allow_implicit_invocation: true,因此当任务匹配时 Codex 会自动选择该 skill;否则可通过$agenteye-cli显式调用。
安全注意事项:Agent 运行 CLI 时变更操作不会出现确认提示
警告: 在让 Agent 执行变更操作前,请先阅读本节。
agenteye CLI 通常会在执行破坏性操作前询问*「确定吗?」*。当它未连接到终端时(这正是编程 Agent 的运行方式),该确认会被自动跳过;--json 参数也会跳过确认。 因此,安全确认提示对 Agent 不会触发。
Skill 的设计已对此进行补偿:它会在执行任何状态变更前,说明将要运行的确切命令,并等待你明确的确认。请保持这一规范。当你通过 Agent 操作 Failproof AI 可观测性时,你就是确认步骤。需要特别注意的变更类命令:
keys create/update/disable/regenerateusers create/update/disable/enablesettings setalerts create/update/delete/test- 写入类
incidents子命令:ack/assign/resolve/open/comment-add/comment-delete/subscribe/unsubscribe query create/update/deleteagent rename/deleteorgs switch
events、sessions、evals、errors、list、whoami、orgs list/current/perms)均为只读,不会产生任何变更。
由于 Agent 以你的身份操作,它只能执行你的登录所允许的操作;权限按组织级别解析(参见 API 密钥)。若某个命令超出你的权限,会返回退出码 5 并精确说明所缺权限,Agent 可以告诉你需要向管理员申请什么权限,而不是模糊地报错。
你可以问它什么
以下是真实的交互示例——先是一次只读查询,然后是一次等待你确认的变更操作:agenteye 命令,会先查询有效值(list <kind>、whoami)而不是猜测,并在任何变更前说明确切命令。更多示例:
- 「最近 24 小时有什么问题/故障吗?」 →
errors --since 24h --aggregate,然后给出明细。 - 「为什么会话
run-001失败了?」 →events --session-id run-001 --all+evals --session-id run-001。 - 「本周质量趋势如何?」 →
evals --aggregate --since 7d,然后深入查看低分运行。 - 「给 CI 创建一个只能推送事件的密钥。」 →
keys create ci --add events:add(说明命令后创建,并捕获一次性密钥)。 - 「谁有访问权限?将 Dana 设为只读。」 →
users list→users update dana@… --permission-set read-only(向你确认后执行)。 - 「确认正在触发的告警并分配给我。」 →
incidents list --state firing→incidents ack <id>/incidents assign <id> you@…。
下一步
- CLI:
agenteye完整命令与参数参考文档。 - Agent 的 CLI 使用示例:可直接复制的
jq模式和退出码处理方法。 - Evaluator agent skill:同类 skill,用于构建
agenteye evals读取其分数的评估器。 - Python SDK agent skill:同类 skill,用于为 Agent 添加遥测数据发送能力,使
agenteye能够读取相应数据。 - AI 助手:仪表盘内置助手(与本终端 skill 不同)。
- API 密钥:限定 skill 可执行操作范围的按组织权限模型。

