Chỉ Số Hiệu Suất

Xem ngay lập tức khi các mô hình, công cụ hoặc hook của bạn chậm lại hoặc phát sinh chi phí, và phát hiện sự tăng độ trễ ở phía đuôi trước khi người dùng của bạn cảm nhận được. Ba trang chuyên dụng biến các thời gian thô thành p50, p95 và p99 mà bạn có thể đọc ngay tại một cái nhìn. Trang Models: sơ đồ nhiệt độ trễ, dải phần trăm và số liệu token cho mỗi mô hình, chi phí ước tính và phần trăm đầy cửa sổ ngữ cảnh.

​

Hãy dừng để trung bình ẩn các lần chạy tồi tệ nhất của bạn

Một số lượng độ trễ trung bình là thoải mái và vô ích: nó làm mịn một lệnh gọi trong năm mươi cái bị treo và gọi trang on-call của bạn vào lúc 2 giờ sáng. Các trang Models, Tools và Hooks từ chối làm như vậy. Mỗi trang chia sẻ hình dáng giống nhau, vì vậy bạn chỉ cần học một lần:

• Một sparkline 24 thùng cho xu hướng ngay tại một cái nhìn: điều này có đang trở nên tồi tệ hơn không?
• Một dải chỉ số quan trọng với độ trễ p50, p95 và p99, vì vậy lần chạy điển hình và phía đuôi ngồi cạnh nhau.
• Một sơ đồ nhiệt độ trễ, 24 thùng thời gian theo các thùng độ trễ, cho thấy khi nào các lệnh gọi chậm được nhóm lại.
• Một dải phần trăm: một dòng p50 với các dải bóng mờ p25 đến p75 và p10 đến p90 và các chấm p99, vì vậy phạm vi vẫn hiển thị thay vì được lấy trung bình.

Một chữ thập di chuột được chia sẻ liên kết sơ đồ nhiệt và dải, vì vậy một sự tăng đột ngột ở phía đuôi được xếp chồng lên nhau theo thời gian trên cả hai thay vì ẩn đằng sau một dòng giá trị trung bình duy nhất. Tìm cả ba trang trong phần observe trên bảng điều khiển của bạn, mỗi trang có phạm vi cho tổ chức của bạn và có thể lọc theo phạm vi ngày, môi trường, agent và phiên.

​

Models: xem chính xác mỗi mô hình có giá bao nhiêu cho bạn

Trang Models (hiển thị ở trên) trả lời hai câu hỏi mà một hóa đơn luôn đưa ra: mô hình nào và bao nhiêu tiền. Trên cơ sở khung nhìn độ trễ được chia sẻ, nó thêm tiêu thụ token cho mỗi mô hình, chi phí ước tính và phần trăm đầy cửa sổ ngữ cảnh, vì vậy sự tăng trưởng của prompt bất thường và một sự nén sắp xảy ra là hiển thị trước khi chúng gây bất ngờ cho bạn. Failproof AI Observability nhận ra các ID mô hình phổ biến một cách tự động. Nếu một cửa sổ trông không đúng, hoặc bạn chạy một mô hình riêng của riêng bạn, hãy sửa nó hoặc thêm nó trong Settings, trong model context windows, và các số liệu phần trăm đầy theo sau.

​

Tools: phân biệt cái chậm với cái bị hỏng

Một lệnh gọi công cụ có thể chậm, hoặc nó có thể đang im lặng thất bại, và bạn muốn biết cái nào trong vòng vài giây, chứ không phải sau khi đào xung quanh các bản ghi. Trang Tools: sơ đồ nhiệt và dải phần trăm giống nhau, cộng với sự phân tích bước đầu và thất bại và thanh phân phối công cụ. Bên cạnh khung nhìn độ trễ được chia sẻ, trang Tools thêm một sự phân tích bước đầu và thất bại và một thanh phân phối công cụ, vì vậy bạn thấy ngay tại một cái nhìn những công cụ nào bạn dựa vào nhiều nhất và những công cụ nào đang tiêu thụ ngân sách lỗi của bạn.

​

Hooks: xác định chính xác hook và kích hoạt

Khi một hook vòng đời kéo một lần chạy, “hook rất chậm” không phải là điều gì bạn có thể hành động. Trang Hooks giúp bạn đến cái hook quan trọng. Trang Hooks: độ trễ được phân tích theo tên hook và sự kiện kích hoạt. Trên cùng sơ đồ nhiệt độ trễ và dải phần trăm, trang Hooks chia hoạt động thành tên hook và sự kiện kích hoạt, vì vậy bạn hạ cánh trên hook đơn lẻ và sự kiện đơn lẻ cần được chú ý.

​

Liên Quan

• Event stream: dấu vết của từng sự kiện được mã hóa bằng màu trực tiếp.
• Sessions: tổng hợp các sự kiện thành một hàng cho mỗi lần chạy và mở biểu đồ thực thi của nó.
• Error tracking: một bề mặt phân loại duy nhất cho tất cả những gì bảng điều khiển vẽ màu đỏ.
• Dashboards: xem tổng hợp trên toàn bộ đội của bạn.