Evaluation Suite

Hinweis: Sie definieren die Score-Dimensionen. Ihr Evaluator kann beliebige numerische Schlüssel zurückgeben; Observability speichert, verfolgt und zeigt alles an, was Sie zurücksenden.

​

Auf einen Blick

1. Schreiben Sie einen Scorer. Starten Sie einen kleinen HTTP-Dienst, der ein Sitzungsprotokoll liest und Scores zurückgibt. Observability liefert ein funktionsfähiges Referenzbeispiel, das Sie kopieren können. Siehe Evaluator mit dem SDK schreiben.
2. Richten Sie Observability darauf aus. Setzen Sie EVALUATOR_ENDPOINT (und ein gemeinsames EVALUATOR_TOKEN) auf dem Serverprozess.
3. Beobachten Sie die eingehenden Scores. Jede abgeschlossene Sitzung wird automatisch bewertet; die Ergebnisse erscheinen auf der Sitzungsdetailseite, im Sitzungsraster und in gespeicherten Dashboards.

​

Funktionsweise

• Das Ergebnis direkt zurückgibt mit {"status":"done", "scores":{...}, "reasoning":{...}, "summary":"..."}. Das Ergebnis wird an die Bewertungs-Timeline der Sitzung angehängt. reasoning und summary sind optional.
• Verzögert mit {"status":"pending", "job_id":"abc-123"}. Observability ruft dann GET {EVALUATOR_ENDPOINT}/evaluate/abc-123 auf, bis Ihr Evaluator {"status":"done", ...} oder {"status":"error", "error":"..."} zurückgibt. Der Abfrageintervall ist pro Job konfigurierbar: Eine pending-Antwort kann next_poll_secs enthalten, um den Standardwert zu überschreiben; andernfalls verwendet Observability den Wert default_poll_interval_secs aus GET /config; ansonsten fällt der Server auf EVALUATOR_POLLING_INTERVAL_SECS zurück (Standard: 10 s). Alle Werte werden auf [1 s, 1 h] begrenzt.

​

HTTP-Vertrag

• Observability-Server: Umgebungsvariable EVALUATOR_TOKEN
• Evaluator-Dienst: auf dieselbe Weise konfiguriert (das agenteye-evaluator SDK liest EVALUATOR_TOKEN gemäß Konvention)

​

Routen, die der Evaluator bereitstellen muss

​

EvalRequest-Body, der vom Server gesendet wird

{
  "schema_version": "1",
  "session_id":     "session-abc123",
  "agent_id":       "planner",
  "environment":    "production",
  "started_at":     "2026-05-10T12:00:00Z",
  "ended_at":       "2026-05-10T12:05:00Z",
  "events": [
    { "id": 1234, "ts": "...", "event_type": "agent_start", "payload": { ... } },
    ...
  ]
}

​

Antwortformate

{
  "status": "done",
  "scores": { "helpfulness": 0.85, "tool_efficiency": 0.6 },
  "reasoning": {
    "helpfulness": "answered the question directly with citations",
    "tool_efficiency": "called list_files three times when one would have done"
  },
  "summary": "strong answer quality, weak tool selection"
}

{ "status": "pending", "job_id": "abc-123", "next_poll_secs": 30 }

{ "status": "error", "error": "model service unavailable" }

​

Evaluator mit dem SDK schreiben

import os
from agenteye_evaluator import Evaluator, EvalRequest, EvalResponse

app = Evaluator(token=os.environ["EVALUATOR_TOKEN"])

@app.evaluator
def run(req: EvalRequest) -> EvalResponse:
    # Inspect req.events (the full session transcript) and return scores.
    tool_calls = sum(1 for e in req.events if e.event_type == "tool_use")
    return EvalResponse(
        scores={"tool_calls": float(tool_calls)},
        reasoning={"tool_calls": f"{tool_calls} tool invocations in the transcript"},
        summary="tight tool loop" if tool_calls < 5 else "agent looped on tools",
    )

​

Ihren Evaluator betreiben

​

Server konfigurieren

​

API-Referenz

​

Nach Score-Bereich filtern: score_filters

# helpfulness in [0.5, 0.8]
GET /evaluations?score_filters=helpfulness:0.5..0.8

# tool_efficiency at most 0.3 (no lower bound)
GET /evaluations?score_filters=tool_efficiency:..0.3

# helpfulness >= 0.5 AND factuality >= 0.9
GET /evaluations?score_filters=helpfulness:0.5..,factuality:0.9..

​

Berechtigungen

​

Ergebnisse anzeigen

• /sessions/<id>: Ereignis-Timeline + eine rechte Spalte mit den Scores der Sitzung und etwaigen Fehlern aus dem Verteilungsversuch. Wenn Ihr Schlüssel evaluations:trigger hat, erscheint neben der Export-Schaltfläche eine Neubewerten-Schaltfläche, nützlich für Sitzungen, die niemals agent_end ausgelöst haben, oder zum Aktualisieren von Scores nach der Bereitstellung eines neuen Evaluators. Das Dashboard fragt das neue Ergebnis ab und aktualisiert die rechte Spalte, wenn es eintrifft.
• /sessions: filterbares Sitzungsraster; die Score-Spalte zeigt den Bewertungsstatus und die Scores jeder Sitzung auf einen Blick.
• /dashboards: gespeicherte Bewertungsqualitätsansichten (siehe Dashboards unten).

​

Dashboards

• Filter: dieselben Steuerelemente wie die Sitzungsseite: Umgebung, Status, Agent, ein rollierendes Zeitfenster und Score-Bereichsfilter (key:min..max).
• Eine Anzeigekonfiguration: welche Score-Schlüssel hervorgehoben werden, die grünen/gelben/roten Qualitätsschwellen, welche Panels angezeigt werden und ob auf die neueste Bewertung pro Sitzung reduziert werden soll.

​

Fehlerbehebung

​

Nächste Schritte

• Evaluator-Agenten-Skill: Lassen Sie einen Coding-Agenten Ihre Dimensionen anhand echter Sitzungen entwerfen und diesen Dienst für Sie erstellen.
• Python SDK: Die agent_end-Ereignisse auslösen, die das Scoring anstoßen.
• API-Schlüssel: Die Berechtigungen evaluations:read und evaluations:trigger.
• Audits: Die andere automatisierte Qualitätsfunktion von Observability für richtlinienbasierte Überprüfungen.