Evaluator SDK

​

Thiết lập một bộ đánh giá

pip install failproofai-sdk uvicorn

import os
from failproofai.evaluator import Evaluator, EvalResponse

app = Evaluator(token=os.environ.get("EVALUATOR_TOKEN"))

@app.config
def config():
    return {"inactivity_timeout_secs": 1800}

@app.evaluator
def evaluate(req):
    tool_errors = sum(
        1 for item in req.events
        if item.event_type == "tool_result" and item.payload.get("error")
    )
    return EvalResponse(
        scores={"tool_reliability": 1.0 if tool_errors == 0 else 0.0},
        reasoning={"tool_reliability": f"{tool_errors} tool errors"},
    )

export EVALUATOR_TOKEN=<shared-token>
uvicorn evaluator:app --host 0.0.0.0 --port 8080

curl http://127.0.0.1:8080/health

​

Kết nối bộ đánh giá với Failproof AI

1. Triển khai bộ đánh giá tại một URL HTTPS có thể được Failproof AI Cloud truy cập.
2. Cấu hình EVALUATOR_ENDPOINT với URL đó và đặt EVALUATOR_TOKEN thành mã thông báo giống như được sử dụng bởi bộ đánh giá. Đối với Cloud được quản lý, hãy liên hệ support@befailproof.ai để cấu hình kết nối.
3. Chạy một đánh giá và xác nhận rằng điểm số của nó xuất hiện trong Failproof AI.

• Dashboard
• CLI

Mở một phiên đã hoàn thành trong Observe → Sessions và chọn Run evaluation nếu nó chưa được đánh giá tự động. Xem trạng thái, điểm số, lý do và tóm tắt trong bảng Evaluation của phiên.Sử dụng Observe → Evaluations để so sánh điểm số trên các agent hoặc môi trường. Sử dụng Observe → Metrics để xem độ trễ, chi phí, token và các phép đo số khác.Bắt đầu với một phiên để xác nhận rằng bộ đánh giá đã trả về các khóa điểm số dự kiến và lý do hữu ích cho lần chạy cụ thể đó.Khi kết quả riêng lẻ trông đúng, hãy sử dụng bảng điều khiển đánh giá để so sánh những điểm số đó theo thời gian và trên các agent hoặc môi trường.Một biểu đồ lành mạnh sẽ sử dụng tên điểm số ổn định; thay đổi khóa sẽ tạo một chuỗi riêng biệt.

fp evals --since 1h --score tool_reliability:0..1
fp evals --since 24h --aggregate

​

Các loại SDK

​

Các decorator và route

​

Trả về công việc không đồng bộ

from failproofai.evaluator import EvalRequest, EvalResponse, Evaluator, JobPending

app = Evaluator(token="shared-secret")

@app.evaluator
def start(req: EvalRequest) -> JobPending:
    job_id = enqueue(req)
    return JobPending(job_id=job_id, next_poll_secs=30)

@app.job_lookup
def lookup(job_id: str):
    result = get_result(job_id)
    if result is None:
        return JobPending(job_id=job_id, next_poll_secs=30)
    return EvalResponse(
        scores=result.scores,
        reasoning=result.reasoning,
        summary=result.summary,
    )

​

Các trường yêu cầu và phản hồi

​

Cài đặt của nhà khai thác máy chủ

​

Bảo mật và vận hành

• Đặt bộ đánh giá đằng sau HTTPS khi lưu lượng truy cập vượt qua ranh giới mạng đáng tin cậy.
• Cấu hình một mã thông báo bearer không trống và giữ nó giống nhau trên cả hai dịch vụ.
• Không ghi nhật ký mã thông báo hoặc các lời nhắc nhạy cảm đầy đủ từ tải trọng yêu cầu.
• Làm cho các trình xử lý đồng bộ là idempotent; lần thử lại có thể lặp lại một yêu cầu.
• Duy trì trạng thái công việc không đồng bộ bên ngoài bộ nhớ quy trình trong sản xuất.
• Trả về các khóa điểm số ổn định. Đổi tên khóa sẽ tạo một chuỗi biểu đồ mới thay vì thay đổi chuỗi cũ.