Theo dõi các tín hiệu độ tin cậy quan trọng đối với một agent hoặc quy trình làm việc.
Bảng điều khiển kết hợp các truy vấn đã lưu thành một chế độ xem hoạt động. Xây dựng một bảng xung quanh một quyết định mà bạn mong đợi ai đó sẽ đưa ra—không phải xung quanh mọi số liệu có sẵn.
Đi tới Analyze → Queries, tạo hoặc mở một truy vấn đã lưu, và xác thực kết quả của nó.
Chọn add to dashboard, sau đó chọn một bảng điều khiển hiện có hoặc tạo một bảng mới dưới Analyze → Dashboards.
Mở bảng điều khiển, vào chế độ chỉnh sửa, sắp xếp các ô, và lưu bố cục.
Quay lại truy vấn khi bạn cần thay đổi dữ liệu hoặc bộ lọc phía sau một ô.
CRUD của Dashboard không được expose bởi Cloud CLI hiện tại. Sử dụng CLI để xây dựng và xác minh truy vấn đã lưu, sau đó thêm nó vào bảng điều khiển trong giao diện người dùng.
Models: khối lượng, độ trễ, sử dụng token, tỷ lệ lỗi, và điểm đánh giá.
Evaluations: tỷ lệ thành công và xu hướng điểm số theo agent hoặc môi trường.
Tools: khối lượng cuộc gọi, tỷ lệ lỗi, thời lượng, và cuộc gọi lặp lại.
Hooks and policies: quyết định, từ chối, và tỷ lệ khớp chính sách.
Custom workflow metrics: kết quả từ các trường sự kiện của riêng bạn và SQL.
Bắt đầu với một truy vấn đã lưu, xác thực kết quả của nó, sau đó thêm nó như một ô. Giữ các bộ lọc production và development rõ ràng để lưu lượng kiểm tra không che giấu một hồi quy.
Gán cho mọi bảng điều khiển một chủ sở hữu và một câu hỏi phản hồi, chẳng hạn như “Độ tin cậy của checkout-agent có tệ hơn tuần trước không?”
