Failproof AI 可观测性评估器 Agent 技能

​

难点在于决定评分什么

​

与其他评估组件的关系

​

与 CLI 技能的区别：构建 vs. 读取

• agenteye-evaluator（本文档）构建产生评分的东西。它的任务在评分首次出现时结束。
• agenteye-cli 读取已存在的评分（agenteye evals）。「本周质量下降了吗？」是它回答的问题，不是本技能的职责。

​

前提条件

1. 已安装并登录 agenteye CLI（pipx install agenteye，然后 agenteye login）。该技能会用到它两次：拉取真实会话用于设计，以及在最后确认评分是否落地。您的登录账户需要 events:read 权限，以及用于最终检查的 evaluations:read 权限。与 CLI 技能一样，它无法替您完成邮件一次性验证码登录。
2. 一个放置评估器的地方。 评估器会被构建成镜像并作为长期运行的服务运行，因此它需要一个真实的代码仓库，而不是临时文件。评估器通常独立存在于自己的仓库中，与被评分的 Agent 分开——该技能会寻找现有仓库，并在搭建新仓库之前征询您的意见。
3. agenteye-evaluator SDK wheel——在让您的 Agent 开始输入 pip 命令之前，请先阅读下一节。

​

获取方式

​

安装技能

# Claude Code，仅限当前项目
npx skills add FailproofAI/skills --skill agenteye-evaluator -a claude-code

# 所有项目（安装到 ~/.claude/skills/）
npx skills add FailproofAI/skills --skill agenteye-evaluator -a claude-code -g --copy

# 改用 Codex
npx skills add FailproofAI/skills --skill agenteye-evaluator -a codex

npx skills list -a claude-code           # 查看已安装的技能
npx skills update agenteye-evaluator     # 拉取最新版本
npx skills remove agenteye-evaluator     # 移除它

• Claude Code：将 agenteye-evaluator/ 文件夹放入 ~/.claude/skills/（所有项目）或 <your-repo>/.claude/skills/（仅该仓库）。Claude Code 会自动发现它——通过 /skills 列表验证，或者直接询问评估相关问题即可。
• Codex（OpenAI）：Codex 读取同一个 SKILL.md。捆绑的 agents/openai.yaml 设置了 allow_implicit_invocation: true，因此当任务匹配时 Codex 会自动选择该技能；否则可以通过 $agenteye-evaluator 显式调用它。

​

SDK 不在公共 PyPI 上

警告： 在让 Agent 安装 SDK 之前，请先阅读本节。

​

可以问它什么

您    ▸ 我想为我们的支持机器人做评估。我觉得它有时表现很差。

Agent ▸ 在我写任何东西之前：描述一次进展顺利的运行，
        以及一次进展糟糕的。

您    ▸ 好的情况：它从文档中给出答案。差的情况：它胡编乱造，
        或者放弃并说「请联系支持」。

Agent ▸ 正在运行：agenteye --json sessions --status error --since 7d
        读取 5 个会话，包括您认为表现差的两个。

        您的描述说的是事实性和推诿。对话记录在推诿方面
        与描述吻合（5 个中有 2 个以转接支持结束，
        在 model_response.content 中清晰可见），但事实性
        需要您的事件中没有的基准真值。

        因此我会评分三件事：
          - deflection      基于规则，成本低，能区分您的两次运行
          - tool_efficiency 基于规则，能捕捉 run-004 中的重试循环
          - groundedness    LLM 评判：每个声明都在它检索的文档中吗？

        「事实性」需要我们没有的基准真值；groundedness
        是您的对话记录实际上能支撑的最接近的替代。
        这三个名称可以吗？之后重命名会导致历史记录断裂。

您    ▸ 好的

Agent ▸ 这个仓库中没有评估器。要在这里搭建一个，
        还是您在别处已经有了？

​

需要注意的事项

• 维度名称几乎是永久性的。 评分键是任意字符串，平台会对您发送的任何内容进行趋势分析，这意味着下游没有任何东西能纠正一个错误的选择。之后重命名会导致历史记录断裂：旧会话保留旧键，趋势就此中断。这就是为什么该技能在写代码之前要明确征得您的同意——请认真对待那个提示。
• 测试夹具是真实的生产对话记录。 针对真实会话进行设计意味着要将它们拉取到磁盘上，而它们可能包含客户数据。该技能会在将其提交到 git 之前征询您的意见；如有疑虑，请将 fixtures/ 排除在仓库之外，让每位开发者自行拉取。
• Agent 会编写并部署一个读取所有对话记录的服务。 它以您的身份行事，受您的 CLI 登录权限约束，但请像审查其他接触生产数据的代码一样审查评估器。

​

后续步骤

• 评估套件（Evaluation suite）：HTTP 契约、SDK 以及该技能所配置的服务器环境变量。
• 评估（Evaluations）：评分落地后出现的位置。
• CLI 技能：与本技能配套的技能，用于读取结果而非构建评分器。
• CLI：该技能所依赖的会话数据背后的命令参考。