Evaluator SDK

​

Evaluator einrichten

pip install failproofai-sdk uvicorn

import os
from failproofai.evaluator import Evaluator, EvalResponse

app = Evaluator(token=os.environ.get("EVALUATOR_TOKEN"))

@app.config
def config():
    return {"inactivity_timeout_secs": 1800}

@app.evaluator
def evaluate(req):
    tool_errors = sum(
        1 for item in req.events
        if item.event_type == "tool_result" and item.payload.get("error")
    )
    return EvalResponse(
        scores={"tool_reliability": 1.0 if tool_errors == 0 else 0.0},
        reasoning={"tool_reliability": f"{tool_errors} tool errors"},
    )

export EVALUATOR_TOKEN=<shared-token>
uvicorn evaluator:app --host 0.0.0.0 --port 8080

curl http://127.0.0.1:8080/health

​

Evaluator mit Failproof AI verbinden

1. Stelle den Evaluator unter einer HTTPS-URL bereit, die von Failproof AI Cloud erreichbar ist.
2. Konfiguriere EVALUATOR_ENDPOINT mit dieser URL und setze EVALUATOR_TOKEN auf dasselbe Token, das der Evaluator verwendet. Für verwaltete Cloud-Instanzen wende dich an support@befailproof.ai, um die Verbindung einzurichten.
3. Führe eine Bewertung durch und bestätige, dass die Scores in Failproof AI erscheinen.

• Dashboard
• CLI

Öffne eine abgeschlossene Sitzung unter Observe → Sessions und wähle Run evaluation, falls sie nicht automatisch bewertet wurde. Überprüfe Status, Scores, Begründungen und Zusammenfassung im Evaluation-Panel der Sitzung.Verwende Observe → Evaluations, um Scores über Agenten oder Umgebungen hinweg zu vergleichen. Nutze Observe → Metrics für Latenz, Kosten, Token und andere numerische Messungen.Beginne mit einer einzelnen Sitzung, um zu bestätigen, dass der Evaluator die erwarteten Score-Schlüssel und nützliche Begründungen für diesen spezifischen Durchlauf zurückgegeben hat.Sobald die Einzelergebnisse korrekt aussehen, verwende das Evaluierungs-Dashboard, um diese Scores über Zeit und über Agenten oder Umgebungen hinweg zu vergleichen.Ein gesundes Diagramm sollte stabile Score-Namen verwenden; das Ändern eines Schlüssels erstellt eine separate Reihe.

fp evals --since 1h --score tool_reliability:0..1
fp evals --since 24h --aggregate

​

SDK-Typen

​

Dekoratoren und Routen

​

Asynchrone Arbeit zurückgeben

from failproofai.evaluator import EvalRequest, EvalResponse, Evaluator, JobPending

app = Evaluator(token="shared-secret")

@app.evaluator
def start(req: EvalRequest) -> JobPending:
    job_id = enqueue(req)
    return JobPending(job_id=job_id, next_poll_secs=30)

@app.job_lookup
def lookup(job_id: str):
    result = get_result(job_id)
    if result is None:
        return JobPending(job_id=job_id, next_poll_secs=30)
    return EvalResponse(
        scores=result.scores,
        reasoning=result.reasoning,
        summary=result.summary,
    )

​

Anfrage- und Antwortfelder

​

Einstellungen für Server-Betreiber

​

Sicherheit und Betrieb

• Stelle den Evaluator hinter HTTPS, wenn der Datenverkehr eine vertrauenswürdige Netzwerkgrenze überschreitet.
• Konfiguriere ein nicht-leeres Bearer-Token und halte es auf beiden Diensten identisch.
• Protokolliere nicht das Token oder vollständige sensible Prompts aus Anfrage-Nutzlasten.
• Gestalte synchrone Handler idempotent; Wiederholungsversuche können eine Anfrage wiederholen.
• Speichere den Status asynchroner Jobs in der Produktion außerhalb des Prozessspeichers.
• Verwende stabile Score-Schlüssel. Das Umbenennen eines Schlüssels erstellt eine neue Diagrammreihe, anstatt die alte zu ändern.