Evaluations

​

title: “Đánh giá trực tuyến” description: “Chấm điểm các phiên hoạt động trực tiếp và hoàn thành để đảm bảo chất lượng, tuân thủ, chi phí và độ trễ.” icon: “gauge”

​

Xem lại chất lượng đánh giá

• Dashboard
• CLI

1. Đi tới Observe → Evaluations.
2. Thêm một chuỗi dữ liệu và chọn agent, môi trường, điểm đánh giá, thống kê và đường cong.
3. Thêm các chuỗi để so sánh các môi trường, agent hoặc khóa điểm.
4. Chọn một kết quả để mở các phiên phù hợp hoặc chia sẻ chế độ xem được lọc. Sử dụng Observe → Metrics cho độ trễ, tokens, chi phí và các giá trị độ lớn khác.

Mở một phiên từ chi tiết phân tích để kiểm tra lý do đánh giá từng điểm:

fp evals --agent-id checkout-agent --aggregate
fp evals --aggregate --env production --status error
fp evals --score helpfulness:0.8.. --since 7d

Thêm --json toàn cục trước evals để tự động hóa, ví dụ như fp --json evals --aggregate --env production.

​

Mục tiêu đánh giá tốt

• Hoàn thành hoặc độ chính xác của tác vụ
• Tính trọn vẹn dựa trên nguồn và rủi ro tưởng tượng
• Lựa chọn công cụ và hiệu quả công cụ
• Tuân thủ chính sách hoặc quy trình
• Ngân sách chi phí và độ trễ
• Sự leo thang cho con người cần thiết

​

Từ điểm đến phản hồi