SDK de Evaluador

​

Configurar un evaluador

pip install failproofai-sdk uvicorn

import os
from failproofai.evaluator import Evaluator, EvalResponse

app = Evaluator(token=os.environ.get("EVALUATOR_TOKEN"))

@app.config
def config():
    return {"inactivity_timeout_secs": 1800}

@app.evaluator
def evaluate(req):
    tool_errors = sum(
        1 for item in req.events
        if item.event_type == "tool_result" and item.payload.get("error")
    )
    return EvalResponse(
        scores={"tool_reliability": 1.0 if tool_errors == 0 else 0.0},
        reasoning={"tool_reliability": f"{tool_errors} tool errors"},
    )

export EVALUATOR_TOKEN=<shared-token>
uvicorn evaluator:app --host 0.0.0.0 --port 8080

curl http://127.0.0.1:8080/health

​

Conectar el evaluador a Failproof AI

1. Despliega el evaluador en una URL HTTPS accesible por Failproof AI Cloud.
2. Configura EVALUATOR_ENDPOINT con esa URL y establece EVALUATOR_TOKEN con el mismo token utilizado por el evaluador. Para Cloud gestionado, contacta con support@befailproof.ai para configurar la conexión.
3. Ejecuta una evaluación y confirma que sus puntuaciones aparecen en Failproof AI.

• Panel de control
• CLI

Abre una sesión completada en Observe → Sessions y selecciona Run evaluation si no se evaluó automáticamente. Revisa el estado, las puntuaciones, el razonamiento y el resumen en el panel Evaluation de la sesión.Usa Observe → Evaluations para comparar puntuaciones entre agentes o entornos. Usa Observe → Metrics para mediciones de latencia, coste, tokens y otros valores numéricos.Comienza con una sola sesión para confirmar que el evaluador devolvió las claves de puntuación esperadas y un razonamiento útil para esa ejecución específica.Una vez que los resultados individuales parezcan correctos, usa el panel de evaluación para comparar esas puntuaciones a lo largo del tiempo y entre agentes o entornos.Un gráfico saludable debe usar nombres de puntuación estables; cambiar una clave crea una serie separada.

fp evals --since 1h --score tool_reliability:0..1
fp evals --since 24h --aggregate

​

Tipos del SDK

​

Decoradores y rutas

​

Devolver trabajo asíncrono

from failproofai.evaluator import EvalRequest, EvalResponse, Evaluator, JobPending

app = Evaluator(token="shared-secret")

@app.evaluator
def start(req: EvalRequest) -> JobPending:
    job_id = enqueue(req)
    return JobPending(job_id=job_id, next_poll_secs=30)

@app.job_lookup
def lookup(job_id: str):
    result = get_result(job_id)
    if result is None:
        return JobPending(job_id=job_id, next_poll_secs=30)
    return EvalResponse(
        scores=result.scores,
        reasoning=result.reasoning,
        summary=result.summary,
    )

​

Campos de solicitud y respuesta

​

Configuración para el operador del servidor

​

Seguridad y operaciones

• Coloca el evaluador detrás de HTTPS cuando el tráfico cruce un límite de red de confianza.
• Configura un token bearer no vacío y mantenlo idéntico en ambos servicios.
• No registres en logs el token ni los prompts sensibles completos de las cargas útiles de las solicitudes.
• Haz que los manejadores síncronos sean idempotentes; los reintentos pueden repetir una solicitud.
• Persiste el estado de los trabajos asíncronos fuera de la memoria del proceso en producción.
• Devuelve claves de puntuación estables. Renombrar una clave crea una nueva serie en el gráfico en lugar de modificar la anterior.