Evaluator SDK

​

Evaluator einrichten

pip install failproofai-sdk uvicorn

import os
from failproofai.evaluator import Evaluator, EvalResponse

app = Evaluator(token=os.environ.get("EVALUATOR_TOKEN"))

@app.config
def config():
    return {"inactivity_timeout_secs": 1800}

@app.evaluator
def evaluate(req):
    tool_errors = sum(
        1 for item in req.events
        if item.event_type == "tool_result" and item.payload.get("error")
    )
    return EvalResponse(
        scores={"tool_reliability": 1.0 if tool_errors == 0 else 0.0},
        reasoning={"tool_reliability": f"{tool_errors} tool errors"},
    )

export EVALUATOR_TOKEN=<shared-token>
uvicorn evaluator:app --host 0.0.0.0 --port 8080

curl http://127.0.0.1:8080/health

​

Evaluator mit Failproof AI verbinden

1. Deployen Sie den Evaluator unter einer HTTPS-URL, die von Failproof AI Cloud erreichbar ist.
2. Konfigurieren Sie EVALUATOR_ENDPOINT mit dieser URL und setzen Sie EVALUATOR_TOKEN auf dasselbe Token, das der Evaluator verwendet. Für die verwaltete Cloud wenden Sie sich an support@befailproof.ai, um die Verbindung einzurichten.
3. Führen Sie eine Evaluierung durch und prüfen Sie, ob die Bewertungen in Failproof AI erscheinen.

• Dashboard
• CLI

Öffnen Sie eine abgeschlossene Sitzung unter Observe → Sessions und wählen Sie Run evaluation, falls sie nicht automatisch evaluiert wurde. Überprüfen Sie Status, Bewertungen, Begründungen und Zusammenfassung im Evaluation-Panel der Sitzung.Verwenden Sie Observe → Evaluations, um Bewertungen über Agenten oder Umgebungen hinweg zu vergleichen. Nutzen Sie Observe → Metrics für Latenz-, Kosten-, Token- und andere numerische Messungen.Beginnen Sie mit einer einzelnen Sitzung, um sicherzustellen, dass der Evaluator die erwarteten Score-Keys und sinnvolle Begründungen für diesen konkreten Durchlauf zurückgegeben hat.Sobald die Einzelergebnisse korrekt aussehen, können Sie im Evaluierungs-Dashboard diese Bewertungen über die Zeit und über Agenten oder Umgebungen hinweg vergleichen.Ein gesundes Diagramm sollte stabile Score-Namen verwenden – das Umbenennen eines Keys erstellt eine separate Datenreihe.

fp evals --since 1h --score tool_reliability:0..1
fp evals --since 24h --aggregate

​

SDK-Typen

​

Dekoratoren und Routen

​

Asynchrone Arbeit zurückgeben

from failproofai.evaluator import EvalRequest, EvalResponse, Evaluator, JobPending

app = Evaluator(token="shared-secret")

@app.evaluator
def start(req: EvalRequest) -> JobPending:
    job_id = enqueue(req)
    return JobPending(job_id=job_id, next_poll_secs=30)

@app.job_lookup
def lookup(job_id: str):
    result = get_result(job_id)
    if result is None:
        return JobPending(job_id=job_id, next_poll_secs=30)
    return EvalResponse(
        scores=result.scores,
        reasoning=result.reasoning,
        summary=result.summary,
    )

​

Anfrage- und Antwortfelder

​

Server-Operator-Einstellungen

​

Sicherheit und Betrieb

• Stellen Sie den Evaluator hinter HTTPS, wenn der Datenverkehr eine vertrauenswürdige Netzwerkgrenze überquert.
• Konfigurieren Sie ein nicht leeres Bearer-Token und halten Sie es auf beiden Services identisch.
• Protokollieren Sie weder das Token noch vollständige sensible Prompts aus Anfrage-Nutzdaten.
• Gestalten Sie synchrone Handler idempotent; Wiederholungen können eine Anfrage wiederholen.
• Persistieren Sie asynchronen Job-Status in der Produktion außerhalb des Prozessspeichers.
• Verwenden Sie stabile Score-Keys. Das Umbenennen eines Keys erstellt eine neue Diagrammreihe, anstatt die alte zu ändern.