AgentEye là gì?
AgentEye là một nền tảng theo dõi và đánh giá được tự lưu trữ cho các AI agent. Nó ghi lại những gì agent của bạn làm — mọi bước của một lần chạy — và tự động đánh giá chất lượng của mỗi lần chạy hoàn thành, giúp bạn thấy cách agent của bạn hoạt động trong môi trường production và phát hiện những suy giảm trước khi người dùng của bạn phát hiện. Dữ liệu chảy theo một hướng: mã agent của bạn phát ra các sự kiện thông qua Python SDK → một daemon trình thu thập nhẹ nhàng gom lô và gửi chúng đến máy chủ → các sự kiện và phân tích được lưu trữ trong ClickHouse (trạng thái hoạt động như tổ chức, người dùng, khóa API, bảng điều khiển và các truy vấn đã lưu sống trong Postgres) → bạn khám phá mọi thứ trong bảng điều khiển. Những gì bạn nhận được:- Các sự kiện — đường dẫu thô, từng bước của mỗi lần chạy agent (các lệnh gọi công cụ, lệnh gọi mô hình, hook, lỗi).
- Các phiên — những sự kiện đó được tập hợp thành một hàng cho mỗi lần chạy, mỗi cái được tự động đánh giá và chấm điểm.
- Các đánh giá — điểm chất lượng được tạo ra bởi các dịch vụ đánh giá của riêng bạn, vì vậy những sự suy giảm chất lượng sẽ được phát hiện mà không cần kiểm tra thủ công.
- Các truy vấn và bảng điều khiển — SQL ClickHouse đã lưu trên dữ liệu của bạn, được vẽ thành các bảng điều khiển được chia sẻ và được phạm vi tổ chức.
- Cảnh báo và sự cố — các quy tắc ngưỡng sẽ gửi thông báo cho bạn (email, Slack, webhook, trong bảng điều khiển) cộng với quy trình làm việc sự cố để phân loại chúng.
- CLI và trợ lý AI — một ứng dụng khách terminal (
agenteye) và một trợ lý trong bảng điều khiển để đặt câu hỏi bằng tiếng Anh thuần.
Bước 1: Xác thực
Tất cả các tạo tác AgentEye được phân phối từ tổ chức GitHubagenteye-enterprise. Là một nhà phát triển doanh nghiệp, bạn có thể tạo PAT GitHub của riêng mình. Theo dõi enterprise-docs/github-token.md để thực hiện các bước chính xác và các quyền bắt buộc.
Bước 2: Triển khai Máy chủ và Bảng điều khiển
Máy chủ nhận các sự kiện từ các trình thu thập và làm cho chúng có thể truy vấn được; bảng điều khiển là nơi bạn khám phá chúng. Các sự kiện và phân tích được nạp sống trong ClickHouse (kho lưu trữ phân tích bắt buộc), trong khi Postgres giữ trạng thái hoạt động như các tổ chức, người dùng, khóa API, bảng điều khiển và các truy vấn đã lưu. Tải xuống tệp compose đã xuất bản:.env để việc triển khai không chạy trên thông tin đăng nhập admin mặc định. Ở mức tối thiểu, hãy đặt ADMIN_KEY và POSTGRES_PASSWORD:
http://localhost:8080 và bảng điều khiển ở http://localhost:3000.
Để triển khai production (Postgres tùy chỉnh, TLS, proxy ngược), xem enterprise-docs/deployment.md.
Bước 3: Tạo một Khóa API cho Trình thu thập
Mỗi trình thu thập xác thực với một khóa API được xác định phạm vi. Sử dụngADMIN_KEY bạn đặt trong Bước 2 để tạo một khóa:
key cho chính mình; sử dụng nó trong cấu hình trình thu thập ở Bước 4. Xem enterprise-docs/api-keys.md để quản lý khóa đầy đủ.
Bước 4: Cài đặt Trình thu thập
Trên mỗi máy chạy AI agent của bạn, hãy cài đặt daemon trình thu thập. Tải xuống nhị phân (Linux x86_64):Điều này tải xuống bản dựng Linux x86_64. Để sử dụng macOS (Apple Silicon hoặc Intel), Linux arm64, hoặc thiết lập Docker / systemd / launchd, xem collector-installation.md, liệt kê bản tải xuống cho mỗi nền tảng — lệnh trên cài đặt một nhị phân Linux sẽ không chạy ở nơi khác.Cấu hình:
Bước 5: Cài đặt Python SDK
Trên mỗi máy nơi bạn muốn thêm công cụ theo dõi vào mã agent, hãy cài đặt wheel từ GitHub Releases.Bước 6: Thêm công cụ theo dõi vào Agent của bạn
Thêm các sự kiện vào mã agent của bạn. Ở mức tối thiểu, phát raagent_start và agent_end:
$AGENTEYE_HOME/events/ (hoặc ~/.agenteye/events/ nếu AGENTEYE_HOME không được đặt) mỗi 500 ms. Trình thu thập tự động nhận chúng.
Xem enterprise-docs/python-sdk.md để xem API sự kiện đầy đủ.
Bước 7: Xem các sự kiện trong Bảng điều khiển
Mởhttp://your-dashboard-host:3000 và đăng nhập. AgentEye gửi cho bạn một mã dùng một lần qua email (hoặc một liên kết magic một cú nhấp), vì vậy không có mật khẩu để quản lý.

session_id hoặc agent_id để tìm hiểu chi tiết một lần chạy cụ thể.



Bước 8: Khám phá, biểu đồ và cảnh báo
Với các sự kiện chảy, các trang phân tích biến hoạt động thô thành các câu trả lời, vì vậy bạn có thể đo lường hành vi agent, chia sẻ các phát hiện với nhóm và được gọi vào trang thái nếu có gì đó suy giảm. Các trang bảng điều khiển được phạm vi tổ chức, vì vậy các URL bạn thấy trong thanh địa chỉ có tiền tố với slug org của bạn (/<org>/…).
- Queries (
/<org>/queries): bắt đầu từ một thư viện các truy vấn đã lưu, có thể tái sử dụng trên các sự kiện và đánh giá của bạn (các cài đặt trước tích hợp cộng với các truy vấn tùy chỉnh của bạn)…


- Dashboards (
/<org>/dashboards): ghim các truy vấn như ô đường kẻ, thanh, diện tích hoặc hình tròn vào các bảng điều khiển được chia sẻ, toàn org.

- Alerts (
/<org>/alerts): nâng cao bất kỳ ngưỡng nào thành một quy tắc ghi trang thái được thông báo qua email, Slack, webhook hoặc trong bảng điều khiển. Xem enterprise-docs/alerts.md.
Các bước tiếp theo
- Deployment: cứng hóa cho production
- API Keys: quản lý quyền truy cập
- Troubleshooting: chẩn đoán các vấn đề

