Evaluator SDK

​

Настройка evaluator

pip install failproofai-sdk uvicorn

import os
from failproofai.evaluator import Evaluator, EvalResponse

app = Evaluator(token=os.environ.get("EVALUATOR_TOKEN"))

@app.config
def config():
    return {"inactivity_timeout_secs": 1800}

@app.evaluator
def evaluate(req):
    tool_errors = sum(
        1 for item in req.events
        if item.event_type == "tool_result" and item.payload.get("error")
    )
    return EvalResponse(
        scores={"tool_reliability": 1.0 if tool_errors == 0 else 0.0},
        reasoning={"tool_reliability": f"{tool_errors} tool errors"},
    )

export EVALUATOR_TOKEN=<shared-token>
uvicorn evaluator:app --host 0.0.0.0 --port 8080

curl http://127.0.0.1:8080/health

​

Подключение evaluator к Failproof AI

1. Разверните evaluator по HTTPS URL, доступному для Failproof AI Cloud.
2. Настройте EVALUATOR_ENDPOINT с этим URL и установите EVALUATOR_TOKEN на тот же токен, используемый evaluator. Для управляемого Cloud обратитесь в support@befailproof.ai для настройки подключения.
3. Запустите оценку и подтвердите, что оценки появились в Failproof AI.

• Dashboard
• CLI

Откройте завершённую сессию в разделе Observe → Sessions и выберите Run evaluation, если оценка не была выполнена автоматически. Проверьте статус, оценки, рассуждения и резюме на панели Evaluation сессии.Используйте Observe → Evaluations для сравнения оценок по агентам или окружениям. Используйте Observe → Metrics для задержек, затрат, токенов и других числовых измерений.Начните с одной сессии, чтобы убедиться, что evaluator вернул ожидаемые ключи оценок и полезные рассуждения для этого конкретного запуска.Когда отдельные результаты выглядят правильно, используйте панель оценок для сравнения этих оценок во времени и по агентам или окружениям.Здоровый график должен использовать стабильные имена оценок; изменение ключа создаёт отдельный ряд.

fp evals --since 1h --score tool_reliability:0..1
fp evals --since 24h --aggregate

​

Типы SDK

​

Декораторы и маршруты

​

Возврат асинхронной работы

from failproofai.evaluator import EvalRequest, EvalResponse, Evaluator, JobPending

app = Evaluator(token="shared-secret")

@app.evaluator
def start(req: EvalRequest) -> JobPending:
    job_id = enqueue(req)
    return JobPending(job_id=job_id, next_poll_secs=30)

@app.job_lookup
def lookup(job_id: str):
    result = get_result(job_id)
    if result is None:
        return JobPending(job_id=job_id, next_poll_secs=30)
    return EvalResponse(
        scores=result.scores,
        reasoning=result.reasoning,
        summary=result.summary,
    )

​

Поля запроса и ответа

​

Параметры оператора сервера

​

Безопасность и операции

• Поместите evaluator за HTTPS, когда трафик пересекает границу доверенной сети.
• Настройте не пустой bearer token и сохраняйте его одинаковым на обоих сервисах.
• Не логируйте токен или полные конфиденциальные приглашения из нагрузки запроса.
• Сделайте синхронные обработчики идемпотентными; повторы могут повторить запрос.
• Сохраняйте асинхронное состояние задания вне памяти процесса в продакшене.
• Возвращайте стабильные ключи оценок. Переименование ключа создаёт новый ряд графика, а не изменяет старый.