Soạn thảo từ một mô tả
- Đi tới Analyze → eval authoring và chọn new eval.
- Mô tả những gì cần đo lường bằng tiếng Anh thường nhật, hoặc chọn từ start from an example…, rồi chọn draft.
- Xem xét các trường và mã nó điền vào, sau đó kiểm tra nó và triển khai nó.
Đặt các trường
Sử dụng điều kiện để phạm vi bài đánh giá đến các agent và môi trường nó được dùng cho:
Viết mã của riêng bạn
evaluator code là một biểu thức Python trả vềEvalResult(...), có session trong phạm vi. Cái này ghi điểm phần chia của kết quả công cụ quay trở lại ok:
score= cho một bài đánh giá điểm, hoặc một metrics hoặc assertions mục được đặt tên theo khóa cho một số liệu hoặc một bài đánh giá khẳng định. Các số liệu và khẳng định khác đi cùng với nó, lên tới 25 kết quả trong một lần chạy.
Không gì khác là có thể tiếp cận: không nhập, và không có thuộc tính ngoài dữ liệu phiên đó và các phương thức chuỗi và từ điển thông thường chẳng hạn như
get, lower, và split, chúng phải được gọi chứ không phải được tham chiếu. Khóa tải trọng là bất cứ thứ gì các agent của bạn gửi — status ở trên chỉ là một ví dụ — vì vậy hãy đọc chúng từ một phiên thực. format làm gọn mã và fix yêu cầu trợ lý sửa chữa nó. Mã có thể lên tới 128 KiB, và điều kiện lên tới 16 KiB.
