Evaluator SDK

​

Настройка evaluator

pip install failproofai-sdk uvicorn

import os
from failproofai.evaluator import Evaluator, EvalResponse

app = Evaluator(token=os.environ.get("EVALUATOR_TOKEN"))

@app.config
def config():
    return {"inactivity_timeout_secs": 1800}

@app.evaluator
def evaluate(req):
    tool_errors = sum(
        1 for item in req.events
        if item.event_type == "tool_result" and item.payload.get("error")
    )
    return EvalResponse(
        scores={"tool_reliability": 1.0 if tool_errors == 0 else 0.0},
        reasoning={"tool_reliability": f"{tool_errors} tool errors"},
    )

export EVALUATOR_TOKEN=<shared-token>
uvicorn evaluator:app --host 0.0.0.0 --port 8080

curl http://127.0.0.1:8080/health

​

Подключение evaluator к Failproof AI

1. Разверните evaluator на HTTPS URL, доступном для Failproof AI Cloud.
2. Настройте EVALUATOR_ENDPOINT с этим URL и установите EVALUATOR_TOKEN на тот же токен, который использует evaluator. Для управляемого Cloud обратитесь в support@befailproof.ai для настройки подключения.
3. Запустите оценку и убедитесь, что её результаты появились в Failproof AI.

• Dashboard
• CLI

Откройте завершённую сессию в разделе Observe → Sessions и выберите Run evaluation, если оценка не была выполнена автоматически. Посмотрите статус, оценки, объяснения и резюме в панели Evaluation сессии.Используйте Observe → Evaluations для сравнения оценок между агентами или окружениями. Используйте Observe → Metrics для метрик задержки, стоимости, количества токенов и других числовых измерений.Начните с одной сессии, чтобы убедиться, что evaluator вернул ожидаемые ключи оценок и полезные объяснения для этого конкретного запуска.После того как отдельные результаты выглядят корректно, используйте панель оценок для сравнения этих оценок во времени и между агентами или окружениями.Здоровый график должен использовать стабильные названия оценок; изменение ключа создаёт отдельный ряд.

fp evals --since 1h --score tool_reliability:0..1
fp evals --since 24h --aggregate

​

Типы SDK

​

Декораторы и маршруты

​

Возврат асинхронной работы

from failproofai.evaluator import EvalRequest, EvalResponse, Evaluator, JobPending

app = Evaluator(token="shared-secret")

@app.evaluator
def start(req: EvalRequest) -> JobPending:
    job_id = enqueue(req)
    return JobPending(job_id=job_id, next_poll_secs=30)

@app.job_lookup
def lookup(job_id: str):
    result = get_result(job_id)
    if result is None:
        return JobPending(job_id=job_id, next_poll_secs=30)
    return EvalResponse(
        scores=result.scores,
        reasoning=result.reasoning,
        summary=result.summary,
    )

​

Поля запроса и ответа

​

Настройки оператора сервера

​

Безопасность и операции

• Разместите evaluator за HTTPS, когда трафик пересекает границу доверенной сети.
• Настройте непустой bearer токен и держите его идентичным на обоих сервисах.
• Не логируйте токен или полные конфиденциальные подсказки из полезных нагрузок запросов.
• Сделайте синхронные обработчики идемпотентными; повторные попытки могут повторить запрос.
• Сохраняйте состояние асинхронных задач вне памяти процесса в production.
• Возвращайте стабильные ключи оценок. Переименование ключа создаёт новый ряд диаграммы вместо изменения старого.