Evaluator SDK

​

Configurer un évaluateur

pip install failproofai-sdk uvicorn

import os
from failproofai.evaluator import Evaluator, EvalResponse

app = Evaluator(token=os.environ.get("EVALUATOR_TOKEN"))

@app.config
def config():
    return {"inactivity_timeout_secs": 1800}

@app.evaluator
def evaluate(req):
    tool_errors = sum(
        1 for item in req.events
        if item.event_type == "tool_result" and item.payload.get("error")
    )
    return EvalResponse(
        scores={"tool_reliability": 1.0 if tool_errors == 0 else 0.0},
        reasoning={"tool_reliability": f"{tool_errors} tool errors"},
    )

export EVALUATOR_TOKEN=<shared-token>
uvicorn evaluator:app --host 0.0.0.0 --port 8080

curl http://127.0.0.1:8080/health

​

Connecter l’évaluateur à Failproof AI

1. Déployez l’évaluateur à une URL HTTPS accessible par Failproof AI Cloud.
2. Configurez EVALUATOR_ENDPOINT avec cette URL et définissez EVALUATOR_TOKEN avec le même token que celui utilisé par l’évaluateur. Pour le Cloud géré, contactez support@befailproof.ai afin de configurer la connexion.
3. Lancez une évaluation et confirmez que les scores apparaissent dans Failproof AI.

• Tableau de bord
• CLI

Ouvrez une session terminée sous Observe → Sessions et sélectionnez Run evaluation si elle n’a pas été évaluée automatiquement. Consultez le statut, les scores, le raisonnement et le résumé dans le panneau Evaluation de la session.Utilisez Observe → Evaluations pour comparer les scores entre agents ou environnements. Utilisez Observe → Metrics pour la latence, les coûts, les tokens et d’autres mesures numériques.Commencez par une seule session pour confirmer que l’évaluateur a renvoyé les clés de scores attendues et un raisonnement pertinent pour cette exécution spécifique.Une fois que les résultats individuels semblent corrects, utilisez le tableau de bord d’évaluation pour comparer ces scores dans le temps et entre agents ou environnements.Un graphique sain doit utiliser des noms de scores stables ; le changement d’une clé crée une série distincte.

fp evals --since 1h --score tool_reliability:0..1
fp evals --since 24h --aggregate

​

Types du SDK

​

Décorateurs et routes

​

Retourner un travail asynchrone

from failproofai.evaluator import EvalRequest, EvalResponse, Evaluator, JobPending

app = Evaluator(token="shared-secret")

@app.evaluator
def start(req: EvalRequest) -> JobPending:
    job_id = enqueue(req)
    return JobPending(job_id=job_id, next_poll_secs=30)

@app.job_lookup
def lookup(job_id: str):
    result = get_result(job_id)
    if result is None:
        return JobPending(job_id=job_id, next_poll_secs=30)
    return EvalResponse(
        scores=result.scores,
        reasoning=result.reasoning,
        summary=result.summary,
    )

​

Champs de requête et de réponse

​

Paramètres de l’opérateur serveur

​

Sécurité et exploitation

• Placez l’évaluateur derrière HTTPS lorsque le trafic traverse une frontière réseau non approuvée.
• Configurez un bearer token non vide et maintenez-le identique sur les deux services.
• Ne journalisez pas le token ni les prompts sensibles complets des charges utiles de requêtes.
• Rendez les handlers synchrones idempotents ; les tentatives peuvent répéter une requête.
• Persistez l’état des tâches asynchrones en dehors de la mémoire du processus en production.
• Utilisez des clés de scores stables. Renommer une clé crée une nouvelle série de graphique plutôt que de modifier l’ancienne.