SDK Évaluateur

​

Configurer un évaluateur

pip install failproofai-sdk uvicorn

import os
from failproofai.evaluator import Evaluator, EvalResponse

app = Evaluator(token=os.environ.get("EVALUATOR_TOKEN"))

@app.config
def config():
    return {"inactivity_timeout_secs": 1800}

@app.evaluator
def evaluate(req):
    tool_errors = sum(
        1 for item in req.events
        if item.event_type == "tool_result" and item.payload.get("error")
    )
    return EvalResponse(
        scores={"tool_reliability": 1.0 if tool_errors == 0 else 0.0},
        reasoning={"tool_reliability": f"{tool_errors} tool errors"},
    )

export EVALUATOR_TOKEN=<shared-token>
uvicorn evaluator:app --host 0.0.0.0 --port 8080

curl http://127.0.0.1:8080/health

​

Connecter l’évaluateur à Failproof AI

1. Déployez l’évaluateur sur une URL HTTPS accessible par Failproof AI Cloud.
2. Configurez EVALUATOR_ENDPOINT avec cette URL et définissez EVALUATOR_TOKEN avec le même token utilisé par l’évaluateur. Pour le Cloud géré, contactez support@befailproof.ai pour configurer la connexion.
3. Lancez une évaluation et confirmez que les scores apparaissent dans Failproof AI.

• Tableau de bord
• CLI

Ouvrez une session terminée sous Observer → Sessions et sélectionnez Lancer l’évaluation si elle n’a pas été évaluée automatiquement. Consultez le statut, les scores, le raisonnement et le résumé dans le panneau Évaluation de la session.Utilisez Observer → Évaluations pour comparer les scores entre agents ou environnements. Utilisez Observer → Métriques pour la latence, les coûts, les tokens et autres mesures numériques.Commencez par une session pour confirmer que l’évaluateur a retourné les clés de score attendues et un raisonnement utile pour cette exécution spécifique.Une fois que les résultats individuels semblent corrects, utilisez le tableau de bord d’évaluation pour comparer ces scores dans le temps et entre agents ou environnements.Un graphique sain devrait utiliser des noms de scores stables ; le changement d’une clé crée une série distincte.

fp evals --since 1h --score tool_reliability:0..1
fp evals --since 24h --aggregate

​

Types du SDK

​

Décorateurs et routes

​

Retourner un travail asynchrone

from failproofai.evaluator import EvalRequest, EvalResponse, Evaluator, JobPending

app = Evaluator(token="shared-secret")

@app.evaluator
def start(req: EvalRequest) -> JobPending:
    job_id = enqueue(req)
    return JobPending(job_id=job_id, next_poll_secs=30)

@app.job_lookup
def lookup(job_id: str):
    result = get_result(job_id)
    if result is None:
        return JobPending(job_id=job_id, next_poll_secs=30)
    return EvalResponse(
        scores=result.scores,
        reasoning=result.reasoning,
        summary=result.summary,
    )

​

Champs de requête et de réponse

​

Paramètres de l’opérateur serveur

​

Sécurité et exploitation

• Placez l’évaluateur derrière HTTPS lorsque le trafic franchit une limite réseau de confiance.
• Configurez un bearer token non vide et gardez-le identique sur les deux services.
• Ne journalisez pas le token ni les invites sensibles complètes issues des charges utiles des requêtes.
• Rendez les handlers synchrones idempotents ; les nouvelles tentatives peuvent répéter une requête.
• Persistez l’état des jobs asynchrones en dehors de la mémoire du processus en production.
• Retournez des clés de scores stables. Renommer une clé crée une nouvelle série sur le graphique plutôt que de modifier l’ancienne.