Skip to main content
每次评估的结果,无论来自托管评估器还是您自己的 Worker,都会汇聚到相同的位置。

跨时间比较分数

前往 Observe → evaluations。
  • Recent runs 列出每次评估的到达记录:包括来源(managed 托管评估器或 customer 自有评估器)、Agent 和会话、评估项及其版本、状态,以及分数或指标。
  • Score over time 绘制您所关注的内容。选择 add series,然后选择 Agent、环境、评估项和统计量:avg、min、max、p50、p75、p90、p95、p99、stddev 或 mode。每个数据系列对应一条折线;为其分配独立的 curve 可将其绘制在单独的图表上。 评估页面:标记为 customer 的近期运行记录、带有 0.5 和 0.8 参考线的随时间变化的分数图表,以及对所有 Agent 和环境中 finished_clean 取平均值的单条数据系列。
所有数据系列共用同一个时间范围和分组粒度。细粒度分组便于定位异常事件,粗粒度分组有助于呈现整体趋势,但可能会掩盖您正在寻找的波峰。某个时间桶内若无评估数据,折线上会显示空缺而非零值,参考线标记在 0.5 和 0.8 处。视图的每个配置都保存在 URL 中:点击 share 即可复制链接,打开链接的人将看到与您完全相同的对比视图。
对同一评估项同时绘制 avg 和 p90,可判断良好的平均值是否掩盖了较差的尾部表现;也可将同一评估项应用于两个不同的 Agent,或分别对生产环境和预发布环境进行对比,在同一坐标轴上直观呈现差异。费用、延迟和 Token 数量等带有单位的指标,请在 Observe → metrics 下查看图表,每种单位对应一张独立图表。

查看会话低分原因

从 Observe → sessions 打开某个会话;列表中每个会话都显示其分数,并支持按分数范围筛选。会话详情页右侧边栏首先展示评估摘要,然后为每个分数显示一条进度条,下方附有评估器的推理说明。 会话详情视图,在完整追踪记录旁边展示评估分数和推理说明。

向助手提问

用自然语言向助手提问,例如:“告诉我一些近期的评估情况”,或哪些 Agent 的分数在下滑。助手会读取并分析评估结果,以表格形式作答供您进一步追问;值得保留的问题可以转化为查询或仪表板。 评估页面与助手并排展示,助手回答了"告诉我一些近期的评估情况",并给出了总数、状态和分数的摘要。

监控与响应

  • Dashboards 位于 Analyze → dashboards 下,按 Agent 和环境维度,为整个组织展示您关注的分数趋势。 质量仪表板,展示平均评估分数及随时间变化的趋势。
  • Alerts 在分数超过阈值时发出通知。请参阅告警。
  • 当某项分数在多个会话中持续下降时,运行审计以查明原因;当原因可归结为某个可重现的操作时,编写策略加以约束。