Evaluations

​

title: “Đánh giá trực tuyến” description: “Chấm điểm các phiên làm việc trực tiếp và đã hoàn thành để đánh giá chất lượng, tuân thủ, chi phí và độ trễ.” icon: “gauge”

​

Xem xét chất lượng đánh giá

• Dashboard
• CLI

1. Đi tới Observe → Evaluations.
2. Thêm một chuỗi và chọn agent, môi trường, điểm đánh giá, thống kê và đường cong.
3. Thêm các chuỗi để so sánh các môi trường, agent hoặc các khóa điểm.
4. Chọn một kết quả để mở các phiên khớp hoặc chia sẻ chế độ xem được lọc. Sử dụng Observe → Metrics cho độ trễ, token, chi phí và các giá trị độ lớn khác.

Mở một phiên từ phần chi tiết để kiểm tra lý do từng điểm:

fp evals --agent-id checkout-agent --aggregate
fp evals --aggregate --env production --status error
fp evals --score helpfulness:0.8.. --since 7d

Thêm --json toàn cục trước evals để tự động hóa, ví dụ fp --json evals --aggregate --env production.

​

Các mục tiêu đánh giá tốt

• Hoàn thành hoặc độ chính xác của tác vụ
• Tính dựa trên cơ sở và rủi ro ảo tưởng
• Lựa chọn công cụ và hiệu quả sử dụng công cụ
• Tuân thủ chính sách hoặc quy trình
• Ngân sách chi phí và độ trễ
• Yêu cầu leo thang cho con người

​

Từ điểm đến phản hồi