仪表板将已保存的查询整合成一个操作视图。请围绕某个需要做出决策的场景来构建仪表板,而不是把所有可用指标都堆进去。
构建仪表板
-
前往 Analyze → Queries,创建或打开一个已保存的查询,并验证其结果。
-
选择 add to dashboard,然后选择一个已有的仪表板,或在 Analyze → Dashboards 下新建一个。
-
打开仪表板,进入编辑模式,排列卡片,并保存布局。
-
当需要修改某个卡片背后的数据或过滤条件时,返回对应查询进行调整。
当前 Cloud CLI 未暴露仪表板的增删改查功能。请使用 CLI 构建并验证已保存的查询,然后在 UI 中将其添加到仪表板。
推荐的仪表板分组包括:
- 模型: 调用量、延迟、Token 用量、错误率和评估分数。
- 评估: 按 Agent 或环境划分的成功率和分数趋势。
- 工具: 调用量、失败率、耗时和重复调用次数。
- Hooks 与策略: 决策次数、拒绝次数和策略匹配率。
- 自定义工作流指标: 来自自定义事件字段和 SQL 的结果。
从一个已保存的查询开始,验证其结果,再将其添加为卡片。明确设置生产环境和开发环境的过滤条件,避免测试流量掩盖回归问题。
为每个仪表板指定一名负责人,并明确一个对应的核心问题,例如:“checkout-agent 的可靠性是否比上周更差?”