title: “Khái niệm” description: “Từ vựng đằng sau Failproof AI Observability — sự kiện, phiên làm việc, đánh giá, kiểm toán, phát hiện và sự cố — được định nghĩa tại một nơi.”
Trang này định nghĩa từ vựng mà Failproof AI Observability sử dụng. Nếu một thuật ngữ trong hướng dẫn khác không quen thuộc, nó được định nghĩa ở đây. Bạn không cần phải đọc nó từ đầu đến cuối: hãy lướt qua, hoặc quay lại khi bạn muốn làm rõ một từ.Mô hình dữ liệu
Event (Sự kiện) Đơn vị dữ liệu nhỏ nhất. Một sự kiện ghi lại một bước duy nhất mà agent của bạn thực hiện: mộttool_use, một model_request, một hook_completed, một error, v.v. Agent của bạn phát ra các sự kiện thông qua Python SDK; chúng xuất hiện trực tiếp trên trang Events.
Session (Phiên làm việc)
Một lần chạy agent, được xác định bằng session_id. Một phiên là tất cả các sự kiện chia sẻ id đó, được tổng hợp thành một hàng trên trang Sessions và được vẽ dưới dạng biểu đồ thực thi trên trang chi tiết của nó. Một phiên thường bắt đầu bằng agent_start và kết thúc bằng agent_end.
Agent
Một diễn viên được đặt tên bên trong một lần chạy, được xác định bằng agent_id. Một lần chạy có thể liên quan đến nhiều agent: ví dụ, một bộ lập kế hoạch sinh ra một sub-agent tóm tắt. Các sub-agent mang theo parent_id, đây là cách cho phép Failproof AI Observability vẽ chúng trên các làn riêng của chúng trong biểu đồ thực thi.
Environment (Môi trường)
Một nhãn cho nơi lần chạy xảy ra: production, staging, dev. Bạn đặt nó một lần khi cấu hình SDK. Hầu hết mọi trang bảng điều khiển đều có thể lọc theo môi trường.
Context-window fill (Mức độ lấp đầy cửa sổ ngữ cảnh)
Phần trăm cửa sổ ngữ cảnh của model mà một phản hồi tiêu thụ. Failproof AI Observability dấu nó trên các sự kiện model_response cho các model mà nó nhận dạng, để quá trình tăng trưởng prompt và việc nén sắp xảy ra là rõ ràng ngay trong luồng sự kiện.
Chất lượng
Evaluation (Đánh giá) Điểm chất lượng cho một phiên hoàn thành, được tạo bởi dịch vụ chấm điểm bạn chạy. Đánh giá là tùy chọn: cho đến khi bạn kết nối một bộ đánh giá, các phiên được ghi lại nhưng không được chấm điểm. Mỗi đánh giá có thể mang theo nhiều điểm có tên (ví dụhelpfulness, factuality, tool_efficiency), mỗi điểm có ghi chú lý do ngắn. Xem Evaluation suite.
Score key (Khóa điểm)
Tên của một chiều mà bộ đánh giá báo cáo, chẳng hạn như helpfulness. Cảnh báo và kiểm toán có thể theo dõi một khóa điểm cụ thể theo thời gian.
Evaluator (Bộ đánh giá)
Dịch vụ chấm điểm của bạn. Failproof AI Observability POST phần giới thiệu của một lần chạy hoàn thành cho nó và lưu trữ các điểm nó trả về. Nó không cung cấp bộ đánh giá mặc định; logic chấm điểm là của bạn.
Tìm kiếm và sửa chữa các lỗi
Hook (Móc) Một guardrail hoặc side-effect mà framework agent của bạn chạy xung quanh một bước: một kiểm tra an toàn nội dung, PII redaction, một bảo vệ ngân sách. Hooks phát ra các sự kiệnhook_triggered / hook_completed với một outcome (allow, deny, modify), và có trang observe riêng của chúng.
Alert rule (Quy tắc cảnh báo)
Một quy tắc kích hoạt khi một số liệu vượt qua ngưỡng bạn đặt: tỷ lệ lỗi, độ trễ p95, chi phí token, hoặc điểm bộ đánh giá. Khi một quy tắc kích hoạt, nó mở một sự cố và thông báo cho các kênh bạn chọn (email, Slack, webhook, trong bảng điều khiển). Xem Alerts.
Incident (Sự cố)
Một vấn đề mở được tạo khi một quy tắc cảnh báo kích hoạt. Các sự cố có vòng đời (acknowledge, assign, resolve) và dòng thời gian hoạt động ghi lại mọi hành động. Bạn cũng có thể mở nó thủ công.
Audit (Kiểm toán)
Một cuộc điều tra định kỳ (hàng giờ đến hàng tuần) khai thác nhật ký của bạn trên các phiên để tìm các mẫu lỗi bạn chưa viết quy tắc: các cụm lỗi, điểm thấp, các ngoại lệ độ trễ, vòng lặp tool-call, và các lần chạy không bao giờ kết thúc. Trong khi cảnh báo theo dõi một số liệu bạn đã biết, kiểm toán cho bạn biết tiếp theo nên nhìn vào đâu. Xem Audits.
Finding (Phát hiện)
Một kết quả được xếp hạng, được hỗ trợ bằng bằng chứng từ một lần chạy kiểm toán. Một phát hiện đặt tên cho một mẫu, liên kết đến các phiên chính xác phía sau nó, và mang theo vòng đời phân loại (acknowledge, resolve, mute, dismiss). Failproof AI Observability loại bỏ trùng lặp các phát hiện từ lần chạy này sang lần chạy khác để một mẫu đã biết cập nhật thay vì tích tụ.
The AI assistant (Trợ lý AI)
Trò chuyện trong bảng điều khiển trả lời các câu hỏi về agent của bạn bằng tiếng Anh đơn giản, trên dữ liệu của riêng bạn. Nó chỉ đọc theo mặc định; bất cứ thứ gì nó tạo (một truy vấn đã lưu, một bảng điều khiển) đều được phê duyệt cổng, và nó không bao giờ có thể xóa. Xem AI assistant.
Chạy nó
Organization (tenant) (Tổ chức - người thuê) Một không gian làm việc được cô lập. Một phiên bản Failproof AI Observability có thể lưu trữ nhiều tổ chức, mỗi tổ chức có người dùng, khóa và dữ liệu riêng. Mọi URL bảng điều khiển được phạm vi dưới dấu hiệu tổ chức của bạn (/<org-slug>/…).
Collector (Bộ sưu tập)
agenteye-collector, daemon nhẹ chạy trên mỗi máy agent, phân loại các sự kiện mà SDK ghi vào đĩa, và gửi chúng đến máy chủ.
API key (Khóa API)
Một token có phạm vi xác thực client đối với máy chủ. Các khóa mang quyền chi tiết (ví dụ events:add cho bộ sưu tập, phạm vi chỉ đọc cho khóa bảng điều khiển). Xem API keys.
Server (Máy chủ)
Dịch vụ tiếp nhận và API. Nó tiếp nhận sự kiện, lưu trữ trạng thái hoạt động trong cơ sở dữ liệu của bạn, và phục vụ bảng điều khiển và CLI.
Dashboard (Bảng điều khiển)
Giao diện người dùng web. Mọi trang được phạm vi cho một tổ chức và đọc thông qua API của máy chủ.
Các bước tiếp theo
- Overview: cách các phần này phù hợp với nhau.
- Observability: các bề mặt observe (Events, Sessions, Models, Tools, Hooks, Errors).