Skip to main content
Pull dữ liệu phiên, sự kiện và đánh giá (cũng như kích hoạt lại các đánh giá) trực tiếp từ script hoặc coding agent, với JSON sạch trên stdout có thể pipe trực tiếp vào jq. Những công thức này biến dữ liệu Failproof AI Observability thành thứ gì đó mà người dùng terminal hoặc AI coding agent (Claude Code, Cursor) có thể truy vấn và tự động hóa, mà không cần click qua dashboard. Các mẫu bên dưới đã sẵn sàng để sao chép cho Failproof AI Observability CLI (agenteye). Để cài đặt, xác thực và danh sách tùy chọn đầy đủ, hãy xem CLI; chạy agenteye -h hoặc agenteye <command> -h để xem trợ giúp tích hợp.

Quy tắc vàng

  1. Các tùy chọn toàn cục phải đứng trước lệnh. agenteye --json sessions là đúng; agenteye sessions --json là sai. Các tùy chọn toàn cục là --json, --base-url, --org, --token, --insecure/--secure, --timeout, --quiet, --no-color.
  2. Luôn truyền --json khi bạn phân tích kết quả. Dữ liệu đi tới stdout dưới dạng JSON; thông tin trạng thái con người và lỗi đi tới stderr, vì vậy stdout vẫn sạch để pipe vào jq.
  3. Branch dựa trên exit code, không phải trên text stderr: 0 ok · 1 lỗi không mong muốn · 2 đối số không hợp lệ · 3 không thể liên lạc với dashboard · 4 chưa đăng nhập hoặc hết hạn · 5 quyền bị thiếu · 6 tài nguyên không tìm thấy.
  4. Khám phá bằng -h. Mỗi lệnh ghi chép các bộ lọc, định dạng giá trị và hình dạng JSON của nó.

Cài đặt một lần

Xác nhận xác thực trước khi làm việc

whoami không bao giờ xảy ra lỗi trên phiên bị thiếu hoặc hết hạn; thay vào đó nó báo cáo logged_in:false, vì vậy agent có thể an toàn kiểm tra trạng thái xác thực. (Nó vẫn có thể thoát khác không nếu không có URL cơ sở được đặt hoặc dashboard không thể tiếp cận.)

Tìm phiên thất bại hoặc điểm thấp

Lọc điểm nằm trên evals, không phải sessions. --score KEY:MIN..MAX có thể lặp lại và kết hợp AND; bất kỳ giới hạn nào cũng tùy chọn (..0.5 có nghĩa là ≤ 0.5, 0.9.. có nghĩa là ≥ 0.9). Bạn có thể truyền tối đa 20 bộ lọc điểm trên mỗi yêu cầu; nhiều hơn trả về HTTP 400. sessions chia sẻ các bộ lọc --env, --status, --agent-id, --session-id và phạm vi thời gian với evals, nhưng không có --score.

Đọc một phiên từ đầu đến cuối

Không có lệnh session show duy nhất. Kết hợp đường dẫn sự kiện với đánh giá phiên:
Lưu ý: Theo mặc định, events đọc một nguồn cấp nhanh không có payload. Mỗi sự kiện mang một tóm tắt một dòng được tính toán bởi máy chủ summary cộng với các cờ như is_error và số lượng token, nhưng payload trả về là {}. Để lấy payload thô, thêm --full (hoặc --fields payload). Nguồn cấp đầy đủ chậm hơn ở quy mô, vì vậy hãy giữ nó bị giới hạn: kết hợp --full với một --session-id duy nhất.

Lấy mọi thứ (phân trang)

Kết quả là mới nhất trước tiên và được phân trang với con trỏ.

Làm gọn kết quả với —fields

Hạn chế các khóa (trong cả bảng và --json) để giảm những gì agent phải đọc.
Tên trường không xác định bị từ chối (thoát 2) với danh sách hợp lệ, một cách rẻ tiền để khám phá tên trường.

Khám phá các giá trị bộ lọc hợp lệ

Chọn org của bạn (đa người thuê)

Nếu bạn thuộc về nhiều hơn một org, hãy chọn tenant hoạt động tại lúc đăng nhập (nó được lưu):
Đăng nhập đa org mà không có --org thoát khác không và in các org để chọn từ.

Cung cấp khóa API cho SDK/collector

Chạy truy vấn đã lưu hoặc ad-hoc

Phân loại sự cố không tương tác

Lưu ý: Các đột biến tự động bỏ qua lời nhắc xác nhận của chúng dưới --json hoặc khi stdin không phải TTY, vì vậy agent không bao giờ treo; truyền --yes/-y để bỏ qua nó một cách rõ ràng ở nơi khác.

Xử lý exit-code trong script

Hình dạng đầu ra JSON

  • Mỗi mục event (events): id, session_id, agent_id, event_type, ts, payload, environment, summary, is_error, error_type, output_tokens, context_window, context_fill. Lưu ý rằng payload{} trừ khi bạn yêu cầu nguồn cấp đầy đủ với --full (hoặc --fields payload).
  • Mỗi mục evaluation (evals): id, session_id, agent_id, environment, status, scores, reasoning, summary, error, attempt_count, duration_ms, completed_at, created_at.
  • Mỗi mục session (sessions): session_id, agent_id, environment, status, scores, event_count, started_at, last_event_at, first_event_id, last_event_id, latest_evaluation.
--fields của mỗi lệnh chấp nhận chính xác tên trường của mục riêng của nó. Tập hợp khác nhau giữa sessionsevals, vì vậy một tên hợp lệ cho một có thể bị từ chối bởi cái khác.

Các bước tiếp theo

  • CLI: cài đặt, xác thực và tham chiếu tùy chọn đầy đủ cho mỗi lệnh.
  • CLI agent skill: đóng gói những công thức này dưới dạng kỹ năng mà coding agent của bạn có thể tải.
  • API keys: tạo và xác định phạm vi các khóa mà CLI, SDK và collector xác thực bằng.
  • Python SDK: gửi các sự kiện vào Failproof AI Observability để có dữ liệu để những công thức này truy vấn.