title: “Audits: công cụ phân tích độ tin cậy tự động của bạn” description: “Failproof AI Observability tìm kiếm các lỗi mà bạn chưa bao giờ viết quy tắc cho, và cung cấp cho bạn một danh sách việc cần làm được xếp hạng và có bằng chứng rõ ràng về chính xác những gì cần sửa.”
Failproof AI Observability tìm kiếm các lỗi mà bạn chưa bao giờ viết quy tắc cho, và cung cấp cho bạn một danh sách việc cần làm được xếp hạng và có bằng chứng rõ ràng về chính xác những gì cần sửa. Nó giống như có một nhân viên phân tích cào qua các bản ghi nhật ký của bạn mỗi tối, rồi để lại danh sách ngắn trên bàn làm việc vào sáng hôm sau. Một tour hai phút: từ một lần chạy được lên lịch đến một bản sửa mà bạn có thể thực hiện.
Ngừng đoán xem phải sửa cái gì tiếp theo
Cảnh báo bắt lấy các vấn đề mà bạn đã biết phải theo dõi. Audits bắt lấy những vấn đề bạn không biết. Theo lịch trình bạn đặt, một audit sẽ đọc trên tất cả các phiên agent của bạn và tìm kiếm các mẫu đáng để sửa, để bạn dành thời gian thực hiện các phát hiện thay vì cuộn qua các bản ghi nhật ký hy vọng tự phát hiện chúng. Một lần chạy duy nhất nhắm vào các chế độ lỗi thực sự làm hỏng các agent trong môi trường production:- Các cụm lỗi: cùng một lỗi lặp lại dưới một nguyên nhân gốc chung.
- Độ trôi so với đường cơ sở: hành vi im lặng trôi ra xa khỏi cửa sổ được biết là tốt.
- Mục tiêu thất bại trong bảng điểm: các lần chạy kết thúc về kỹ thuật nhưng không bao giờ hoàn thành công việc.
- Sử dụng tool sai: tool sai, đối số tệ, hoặc các vòng lặp đốt gọi.
- Sự cân bằng giữa chất lượng và chi phí: nơi bạn trả quá nhiều cho kết quả mà bạn có thể nhận được với giá rẻ hơn.
- Khoảng trống phủ sóng: hành vi mà không có eval hoặc cảnh báo nào đang theo dõi.
Mỗi khuyến nghị đều kèm theo bằng chứng
Bạn không bao giờ phải tin một phát hiện. Mỗi khuyến nghị trích dẫn các phiên chính xác mà nó đến từ đó và SQL đã hiển thị nó, vì vậy bạn có thể mở bằng chứng và xác nhận vấn đề trong một cú nhấp chuột thay vì đảo ngược kỹ thuật một yêu cầu. Đó cũng là những gì giữ cho các audit trung thực. Máy chủ kiểm tra rằng mỗi phiên được trích dẫn thực sự tồn tại và loại bỏ bất kỳ khuyến nghị nào có bằng chứng không chịu đựng được, vì vậy audit điều tra nhưng không bao giờ bịa đặt. Những gì xuất hiện trên danh sách của bạn là thực tế, có thể tái tạo được, và được xếp hạng theo mức độ quan trọng của nó, với những chiến thắng lớn nhất ở đầu.Biến một bản sửa thành một hàng rào bảo vệ
Sửa một vấn đề chỉ là một nửa của chiến thắng. Nửa kia là đảm bảo nó không thể im lặng quay lại. Mỗi phát hiện đều có một phím tắt một cú nhấp chuột mà soạn thảo một cảnh báo tái diễn, được điền trước bằng kích hoạt bắt đầu hợp lý mà bạn có thể điều chỉnh. Đóng phát hiện, vũ trang cảnh báo, và lần tiếp theo mẫu đó xuất hiện lại, bạn sẽ được trang báo thay vì phát hiện lại nó trong một audit trong tương lai.Nơi tìm thấy nó
Audits nằm trong bảng điều khiển tại/<org-slug>/audits (thanh bên đến analyze đến audits). Xem các lần chạy và phát hiện cần audits:read; tạo, chỉnh sửa, và xếp hạng audits cần audits:write. Đặt phạm vi và chu kỳ của audit, rồi nhấp Run now bất cứ khi nào bạn muốn kết quả ngay lập tức thay vì chờ lần vượt qua được lên lịch tiếp theo.
Liên quan
- Alerts: được trang báo vào thời điểm một ngưỡng bạn đã biết được vượt qua.
- Evaluations: ghi điểm mỗi lần chạy để các suy thoái chất lượng tự hiển thị.
- Error tracking: nhóm và theo dõi các lỗi mà agent của bạn ném ra.
- Incidents: theo dõi một vấn đề mà audit phát hiện ra cho đến khi sửa nó.