
Ngừng để cho trung bình che dấu các lần chạy tệ nhất của bạn
Một con số độ trễ trung bình là an toàn và vô dụng: nó làm mịn đi một lần gọi trong năm mươi lần bị tắc nghẽn và gọi nhân viên trực của bạn lúc 2 giờ sáng. Các trang Models, Tools và Hooks từ chối làm điều đó. Mỗi trang chia sẻ cùng một hình dạng, vì vậy bạn chỉ cần học một lần:- Sparkline 24 bin để xem xu hướng trong một cái nhìn: điều này có trở nên tệ hơn không?
- Dải chỉ số sống với độ trễ p50, p95 và p99, vì vậy lần chạy điển hình và tail nằm cạnh nhau.
- Bản đồ nhiệt độ trễ, 24 bin thời gian theo các nhóm độ trễ, cho thấy khi nào các lần gọi chậm được tập hợp.
- Dải phần trăm vị trí: một đường p50 với các dải bóng p25 đến p75 và p10 đến p90 và các chấm p99, vì vậy sự phân tán vẫn hiển thị thay vì bị tính trung bình.
Models: xem chính xác mỗi mô hình tốn chi phí bao nhiêu cho bạn
Trang Models (hiển thị ở trên) trả lời hai câu hỏi mà hóa đơn luôn đặt ra: mô hình nào và bao nhiêu tiền. Trên cùng với chế độ xem độ trễ được chia sẻ, nó thêm tiêu thụ token theo mô hình, chi phí ước tính và độ lấp đầy cửa sổ ngữ cảnh, vì vậy sự tăng trưởng prompt không kiểm soát và sự tích tụ sắp xảy ra được hiển thị trước khi chúng làm bạn ngạc nhiên. FailproofAI Observability tự động nhận biết các ID mô hình phổ biến. Nếu một cửa sổ trông sai, hoặc bạn chạy một mô hình riêng tư của riêng mình, hãy sửa nó hoặc thêm một mô hình dưới Settings, trong model context windows, và các số đọc lấp đầy sẽ tuân theo.Tools: phân biệt cái chậm với cái bị hỏng
Một lệnh gọi công cụ có thể chậm, hoặc nó có thể im lặng bị hỏng, và bạn muốn biết đó là cái nào trong vài giây, không phải sau khi đào bới qua các bản ghi.
Hooks: xác định chính xác hook và kích hoạt
Khi một hook vòng đời kéo một lần chạy, “hooks chậm” không phải là điều gì bạn có thể hành động. Trang Hooks giúp bạn đến trang đó.
Liên quan
- Event stream: dấu vết thời gian thực, được mã hóa màu của mọi sự kiện.
- Sessions: cuộn các sự kiện thành một hàng cho mỗi lần chạy và mở biểu đồ thực thi của nó.
- Error tracking: một bề mặt phân loại cho tất cả những gì bảng điều khiển vẽ màu đỏ.
- Dashboards: chế độ xem tích hợp trên toàn bộ đội của bạn.

