Skip to main content
Ngừng đoán mò tại sao một lần chạy bị lỗi. Failproof AI Observability gộp mọi sự kiện từ một lần chạy thành một hàng dễ đọc, sau đó vẽ toàn bộ lần chạy dưới dạng hình ảnh kiểu git mà bạn có thể đọc trong vài giây, để bạn thấy chính xác agent của mình đã làm gì, từng bước một. Danh sách Phiên làm việc: một hàng cho mỗi lần chạy, trên nhiều môi trường và agent, với các pill trạng thái và huy hiệu điểm đánh giá Một hàng cho mỗi lần chạy: pill trạng thái cho bạn biết lần chạy kết thúc như thế nào ngay lập tức, và một huy hiệu điểm xuất hiện khi một evaluator được kết nối.
Theo dõi agent: theo dõi một lần chạy từng bước một, từ mục tiêu đến công cụ đến câu trả lời cuối cùng.

Xem mọi lần chạy một cách toàn cảnh

Đường dẫn sự kiện thô là sự thật của mỗi bước, nhưng khi bạn có hàng nghìn bước trên hàng chục lần chạy, bạn cần lần chạy, không phải bước. Trang Phiên làm việc gộp tất cả các sự kiện của một lần chạy thành một hàng, để một ngày hoạt động trở thành một danh sách có thể quét thay vì một luồng dữ liệu lớn. Mỗi hàng có một pill trạng thái, do đó một lần chạy bị lỗi nổi bật so với một lần chạy lành mạnh trước khi bạn nhấp vào bất cứ điều gì. Lọc theo phạm vi ngày, môi trường, agent hoặc phiên để chuyển từ “tất cả” sang “lần chạy tôi quan tâm” chỉ trong một vài nhấp chuột. Khi bạn kết nối một evaluator, mọi lần chạy hoàn thành được tự động ghi điểm và điểm mới nhất của nó sẽ hiển thị trên hàng dưới dạng huy hiệu. Bạn có thể lọc theo bất kỳ phạm vi điểm nào, do đó “hiển thị cho tôi mọi lần chạy prod có điểm thấp tuần này” là một bộ lọc, không phải là một đánh giá thủ công. Cho đến khi bạn thiết lập một, phiên vẫn ghi lại lần chạy đầy đủ; chúng chỉ chưa có điểm.

Đọc toàn bộ lần chạy dưới dạng hình ảnh

Đồ thị thực thi kiểu git của phiên bên cạnh dòng thời gian sự kiện của nó, với bảng phân tích công cụ, mô hình và hook Đồ thị thực thi (bên trái) nằm bên cạnh dòng thời gian sự kiện; thanh bên phải phân tích các công cụ, mô hình, hook và chi tiêu token cho lần chạy. Nhấp vào bất kỳ phiên nào để mở đồ thị thực thi của nó: một chế độ xem kiểu git về cách các agent, công cụ, hook và lệnh gọi mô hình diễn ra theo thời gian. Các sub-agent song song mỗi cái được nhánh vào làn đường riêng, do đó bạn có thể thấy công việc nào chạy cạnh nhau, sub-agent nào bị tắc, và nơi lần chạy bị lệch khỏi hướng, mà không cần phải phát lại nó trong đầu từ một bức tường nhật ký. Thanh bên phải cho bạn biết chi tiêu cho mỗi lần chạy: công cụ và mô hình nào chạy, hook nào bị kích hoạt, và lần chạy chi tiêu bao nhiêu token. Đó là câu trả lời cho “tại sao lần chạy này lại tốn kém như vậy?” hoặc “công cụ nào là cái chậm?” nằm ngay bên cạnh đồ thị gây ra nó.

Nơi tìm nó

Mọi trang dashboard được phạm vi cho tổ chức của bạn (/<org-slug>/…). Phiên làm việc nằm dưới Observe trong thanh bên trái, bên cạnh Events, với các bộ lọc phạm vi ngày, môi trường, agent và phiên trên cùng của danh sách. Mỗi hàng là một nhấp chuột từ đồ thị thực thi đầy đủ của nó. Để bật các huy hiệu điểm và lọc theo phạm vi điểm, hãy kết nối một evaluator: xem Evaluations.

Liên quan

  • Event stream: đường dẫn thô theo từng bước mà mỗi phiên được gộp lại từ đó.
  • Evaluations: kết nối một evaluator để mỗi lần chạy nhận được một huy hiệu điểm mà bạn có thể lọc theo.
  • Telemetry: cách các lần chạy từ agent của bạn vào các phiên này.