评估

质量问题现在会主动找上门来，而不是等到用户投诉时才知晓。只需接入一次您自己的评分服务，FailproofAI Observability 就会自动为每次完成的运行打分，让帮助性下降或幻觉激增等问题在用户感受到之前自动浮现。 Sessions 列表中的每次运行都附带评分；红、橙、绿三色徽章让问题运行一目了然，无需打开任何对话记录。

​

告别手动抽查

过去，您只能抽查几次运行，然后寄希望于其余的都没问题。现在，每个完成的 session 在结束的瞬间就会按您关心的维度自动打分：帮助性、工具效率、事实性、安全性，乃至任何您的质量标准所需的指标。您自定义评分键，FailproofAI Observability 负责存储、趋势分析和展示评估器返回的所有内容。没有任何运行会漏评，您也不必再通过支持工单才能发现回归问题。 评分会显示在 /<org-slug>/sessions 的 sessions 列表中（侧边栏 → observe → sessions），每行一组徽章集群。只想查看不达标的运行？按评分范围筛选列表，例如帮助性低于 0.5，精准拉出值得查阅的运行。查看评分需要 evaluations:read 权限。

​

了解运行评分低的原因

分数告诉您一次运行表现不佳；session 详情页告诉您原因所在。打开任意运行，右侧面板首先展示总体摘要，然后按维度显示每条评分柱，并在其下附上评估器自身的推理说明，让您能在几秒内从「事实性得了 0.4 分」定位到具体出错的论述。 Session 详情视图：摘要、各维度评分柱及每条分数背后的推理，紧邻运行的事件时间线。 部署了更精准的评估器，或正在查看某次在评分前崩溃的运行？重新评估按钮（需要 evaluations:trigger 权限）可以对 session 重新打分，并将最新结果追加到时间线中，历史评分依然可见。您可以在 /<org-slug>/sessions/<session-id> 找到此按钮。

​

纵观全局的质量趋势

单次运行评分低是噪声；整批运行持续下滑才是信号。已保存的仪表板将您的评分转化为可随时一览的趋势：本周与上周的平均帮助性对比，可按 agent、按环境细分。 已保存的质量仪表板对您关注的评分键进行趋势追踪，使缓慢的漂移在演变为事故之前便显而易见。 仪表板位于 /<org-slug>/dashboards（侧边栏 → analyze → dashboards），在整个组织内共享。每张卡片汇总匹配的 session：运行次数、各特定评分的平均值以及趋势迷你图。点击「在 sessions 中打开」可直接跳转至该数字背后已过滤的运行列表。查看需要 dashboards:read 和 evaluations:read 权限。

​

一次接入，持续评分

评分功能为可选项，在您为 FailproofAI Observability 配置评分器之前完全不启用。您只需搭建一个小型 HTTP 服务（Observability 随附一个可直接复制使用的参考实现），在服务器上设置两个值，此后每次运行都会自动为您评分。完整的接入指南、评分契约及 SDK 均在详细说明文档中。

​

相关文档

• 评估套件：接入评估器、评分契约及 SDK。
• Sessions：逐次运行的列表，评分在此显示。
• 仪表板：在组织内保存和共享质量趋势。
• 审计：Observability 的另一项自动质量功能，用于跨 session 调查。