Skip to main content
仪表板将已保存的查询整合成一个操作视图。请围绕某个需要做出决策的场景来构建仪表板,而不是把所有可用指标都堆进去。

构建仪表板

  1. 前往 Analyze → Queries,创建或打开一个已保存的查询,并验证其结果。
  2. 选择 add to dashboard,然后选择一个已有的仪表板,或在 Analyze → Dashboards 下新建一个。
  3. 打开仪表板,进入编辑模式,排列卡片,并保存布局。
  4. 当需要修改某个卡片背后的数据或过滤条件时,返回对应查询进行调整。 由已保存查询组成的仪表板,包含事件量、错误、延迟和模型 Token 用量。
推荐的仪表板分组包括:
  • 模型: 调用量、延迟、Token 用量、错误率和评估分数。
  • 评估: 按 Agent 或环境划分的成功率和分数趋势。
  • 工具: 调用量、失败率、耗时和重复调用次数。
  • Hooks 与策略: 决策次数、拒绝次数和策略匹配率。
  • 自定义工作流指标: 来自自定义事件字段和 SQL 的结果。
从一个已保存的查询开始,验证其结果,再将其添加为卡片。明确设置生产环境和开发环境的过滤条件,避免测试流量掩盖回归问题。
为每个仪表板指定一名负责人,并明确一个对应的核心问题,例如:“checkout-agent 的可靠性是否比上周更差?”