jq. Những công thức này biến dữ liệu Failproof AI Observability thành thứ gì đó mà người dùng terminal hoặc AI coding agent (Claude Code, Cursor) có thể truy vấn và tự động hóa, mà không cần click qua dashboard.
Các mẫu bên dưới đã sẵn sàng để sao chép cho Failproof AI Observability CLI (agenteye). Để cài đặt, xác thực và danh sách tùy chọn đầy đủ, hãy xem CLI; chạy agenteye -h hoặc agenteye <command> -h để xem trợ giúp tích hợp.
Quy tắc vàng
- Các tùy chọn toàn cục phải đứng trước lệnh.
agenteye --json sessionslà đúng;agenteye sessions --jsonlà sai. Các tùy chọn toàn cục là--json,--base-url,--org,--token,--insecure/--secure,--timeout,--quiet,--no-color. - Luôn truyền
--jsonkhi bạn phân tích kết quả. Dữ liệu đi tới stdout dưới dạng JSON; thông tin trạng thái con người và lỗi đi tới stderr, vì vậy stdout vẫn sạch để pipe vàojq. - Branch dựa trên exit code, không phải trên text stderr:
0ok ·1lỗi không mong muốn ·2đối số không hợp lệ ·3không thể liên lạc với dashboard ·4chưa đăng nhập hoặc hết hạn ·5quyền bị thiếu ·6tài nguyên không tìm thấy. - Khám phá bằng
-h. Mỗi lệnh ghi chép các bộ lọc, định dạng giá trị và hình dạng JSON của nó.
Cài đặt một lần
Xác nhận xác thực trước khi làm việc
whoami không bao giờ xảy ra lỗi trên phiên bị thiếu hoặc hết hạn; thay vào đó nó báo cáo logged_in:false, vì vậy agent có thể an toàn kiểm tra trạng thái xác thực. (Nó vẫn có thể thoát khác không nếu không có URL cơ sở được đặt hoặc dashboard không thể tiếp cận.)
Tìm phiên thất bại hoặc điểm thấp
evals, không phải sessions. --score KEY:MIN..MAX có thể lặp lại và kết hợp AND; bất kỳ giới hạn nào cũng tùy chọn (..0.5 có nghĩa là ≤ 0.5, 0.9.. có nghĩa là ≥ 0.9). Bạn có thể truyền tối đa 20 bộ lọc điểm trên mỗi yêu cầu; nhiều hơn trả về HTTP 400. sessions chia sẻ các bộ lọc --env, --status, --agent-id, --session-id và phạm vi thời gian với evals, nhưng không có --score.
Đọc một phiên từ đầu đến cuối
Không có lệnhsession show duy nhất. Kết hợp đường dẫn sự kiện với đánh giá phiên:
Lưu ý: Theo mặc định,eventsđọc một nguồn cấp nhanh không có payload. Mỗi sự kiện mang một tóm tắt một dòng được tính toán bởi máy chủsummarycộng với các cờ nhưis_errorvà số lượng token, nhưngpayloadtrả về là{}. Để lấy payload thô, thêm--full(hoặc--fields payload). Nguồn cấp đầy đủ chậm hơn ở quy mô, vì vậy hãy giữ nó bị giới hạn: kết hợp--fullvới một--session-idduy nhất.
Lấy mọi thứ (phân trang)
Kết quả là mới nhất trước tiên và được phân trang với con trỏ.Làm gọn kết quả với —fields
Hạn chế các khóa (trong cả bảng và--json) để giảm những gì agent phải đọc.
2) với danh sách hợp lệ, một cách rẻ tiền để khám phá tên trường.
Khám phá các giá trị bộ lọc hợp lệ
Chọn org của bạn (đa người thuê)
Nếu bạn thuộc về nhiều hơn một org, hãy chọn tenant hoạt động tại lúc đăng nhập (nó được lưu):--org thoát khác không và in các org để chọn từ.
Cung cấp khóa API cho SDK/collector
Chạy truy vấn đã lưu hoặc ad-hoc
Phân loại sự cố không tương tác
Lưu ý: Các đột biến tự động bỏ qua lời nhắc xác nhận của chúng dưới--jsonhoặc khi stdin không phải TTY, vì vậy agent không bao giờ treo; truyền--yes/-yđể bỏ qua nó một cách rõ ràng ở nơi khác.
Xử lý exit-code trong script
Hình dạng đầu ra JSON
- Mỗi mục event (
events):id, session_id, agent_id, event_type, ts, payload, environment, summary, is_error, error_type, output_tokens, context_window, context_fill. Lưu ý rằngpayloadlà{}trừ khi bạn yêu cầu nguồn cấp đầy đủ với--full(hoặc--fields payload). - Mỗi mục evaluation (
evals):id, session_id, agent_id, environment, status, scores, reasoning, summary, error, attempt_count, duration_ms, completed_at, created_at. - Mỗi mục session (
sessions):session_id, agent_id, environment, status, scores, event_count, started_at, last_event_at, first_event_id, last_event_id, latest_evaluation.
--fields của mỗi lệnh chấp nhận chính xác tên trường của mục riêng của nó. Tập hợp khác nhau giữa sessions và evals, vì vậy một tên hợp lệ cho một có thể bị từ chối bởi cái khác.
Các bước tiếp theo
- CLI: cài đặt, xác thực và tham chiếu tùy chọn đầy đủ cho mỗi lệnh.
- CLI agent skill: đóng gói những công thức này dưới dạng kỹ năng mà coding agent của bạn có thể tải.
- API keys: tạo và xác định phạm vi các khóa mà CLI, SDK và collector xác thực bằng.
- Python SDK: gửi các sự kiện vào Failproof AI Observability để có dữ liệu để những công thức này truy vấn.

