在线评估

在线评估对 Agent 会话应用一致的判断标准。适用于需要持续监测而非仅在审计时才进行检查的指标。

审查评估质量

从下钻视图中打开会话，可查看各分项的评估推理过程：

fp evals --agent-id checkout-agent --aggregate
fp evals --aggregate --env production --status error
fp evals --score helpfulness:0.8.. --since 7d

如需用于自动化，可在 evals 前添加全局参数 --json，例如 fp --json evals --aggregate --env production。

评估器接收会话标识、环境、时间戳和有序事件，可返回带有可选推理说明和摘要的数值分数键。长时间运行的评估器可返回一个待处理任务，并在稍后进行轮询。

在仪表盘中展示分数以跟踪趋势。为阈值或复合条件创建告警。当某项分数在整体水平上持续下降时，运行审计调查原因；若原因是某个可重复的操作，则部署相应策略。

使用 Python 评估器 SDK 实现同步或异步评估。