Skip to main content
Qualitätsprobleme kommen jetzt zu dir – anstatt dass du erst durch eine Nutzerbeschwerde davon erfährst. Verbinde einmal deinen eigenen Bewertungsservice, und Failproof AI Observability bewertet automatisch jeden abgeschlossenen Lauf, sodass ein Abfall in der Hilfsbereitschaft oder eine Zunahme von Halluzinationen von selbst auffällt – bevor ein Kunde es merkt. Das Sessions-Grid mit einer Score-Spalte: Jeder Lauf trägt eine Evaluierungsstatus-Pille sowie farbcodierte Badges für Hilfsbereitschaft, Faktentreue und Tool-Effizienz Jeder Lauf im Sessions-Grid trägt seine Bewertungen; rote, gelbe und grüne Badges lassen schwache Läufe sofort ins Auge fallen, ohne dass du ein einziges Transkript öffnen musst.

​
Kein manuelles Stichproben mehr

Früher hast du eine Handvoll Läufe stichprobenartig geprüft und gehofft, dass der Rest in Ordnung ist. Jetzt wird jede abgeschlossene Session in dem Moment bewertet, in dem sie endet – anhand der Dimensionen, die dir wichtig sind: Hilfsbereitschaft, Tool-Effizienz, Faktentreue, Sicherheit – was auch immer deine Qualitätslatte ist. Du definierst die Score-Schlüssel; Failproof AI Observability speichert, verfolgt und zeigt an, was immer dein Evaluator zurücksendet. Kein Lauf bleibt unbewertet, und du erfährst Regressionen nicht mehr durch ein Support-Ticket. Die Bewertungen erscheinen im Sessions-Grid unter /<org-slug>/sessions (Seitenleiste → Beobachten → Sessions), ein Badge-Cluster pro Zeile. Möchtest du nur die Läufe sehen, die nicht bestanden haben? Filtere das Grid nach Score-Bereich – zum Beispiel Hilfsbereitschaft unter 0,5 – und ruf genau die Läufe auf, die es wert sind, gelesen zu werden. Für die Anzeige von Bewertungen ist die Berechtigung evaluations:read erforderlich.

​
Verstehen, warum ein Lauf schlecht bewertet wurde

Eine Zahl sagt dir, dass ein Lauf schwach war; die Session-Seite sagt dir, warum. Öffne einen beliebigen Lauf – die rechte Seitenleiste beginnt mit der Zusammenfassung und zeigt dann für jede Dimension einen Balken mit der Begründung deines Evaluators darunter. So gelangst du in Sekunden von „Faktentreue: 0,4” zu der genauen Aussage, die falsch war. Die rechte Seitenleiste einer Session: oben die Evaluierungszusammenfassung, darunter Bewertungsbalken je Dimension mit je einer Begründungszeile, neben dem vollständigen Event-Zeitstrahl Die Session-Detailansicht: Zusammenfassung, Bewertungsbalken je Dimension und die Begründung hinter jedem Score – direkt neben dem Event-Zeitstrahl des Laufs. Du hast einen schärferen Evaluator eingebaut, oder schaust dir einen Lauf an, der abgestürzt ist, bevor er bewertet werden konnte? Ein Neu-Bewerten-Button (geschützt durch evaluations:trigger) bewertet die Session neu und hängt das frische Ergebnis an ihren Zeitstrahl an, sodass frühere Bewertungen als Verlauf sichtbar bleiben. Du findest ihn unter /<org-slug>/sessions/<session-id>.

​
Qualitätstrend über die gesamte Flotte verfolgen

Ein einzelner schlecht bewerteter Lauf ist Rauschen; ein ganzes Kohorten-Absinken ist ein Signal. Gespeicherte Dashboards verwandeln deine Scores in einen Trend, den du auf einen Blick verfolgen kannst: durchschnittliche Hilfsbereitschaft diese Woche im Vergleich zur letzten, pro Agent, pro Umgebung. Ein Qualitäts-Dashboard: Durchschnittliche Score-Balken je Evaluierungsdimension neben einem zeitlichen Trend Ein gespeichertes Qualitäts-Dashboard zeigt den Verlauf der von dir hervorgehobenen Score-Schlüssel, sodass ein schleichender Abfall lange vor einem Vorfall offensichtlich wird. Dashboards befinden sich unter /<org-slug>/dashboards (Seitenleiste → Analysieren → Dashboards), werden in deiner gesamten Organisation geteilt, und jede Karte fasst die übereinstimmenden Sessions zusammen: Anzahl, Durchschnitt jedes hervorgehobenen Scores und ein Trend-Sparkline. „In Sessions öffnen” führt dich direkt in die vorausgefilterten Läufe hinter jeder Zahl. Für die Anzeige sind dashboards:read und evaluations:read erforderlich.

​
Einen Evaluator einmal verbinden

Die Bewertung ist optional und bleibt vollständig deaktiviert, bis du Failproof AI Observability auf einen Scorer zeigst. Du richtest einen kleinen HTTP-Dienst ein (Observability liefert eine funktionierende Referenzimplementierung zum Kopieren), setzt zwei Werte auf deinem Server, und von da an wird jeder Lauf automatisch bewertet. Die vollständige Anleitung, den Scoring-Vertrag und das SDK findest du im ausführlichen Leitfaden. Du bist dir nicht sicher, welche Dimensionen überhaupt sinnvoll zu bewerten sind? Die Evaluator-Agent-Fähigkeit lässt einen Coding-Agenten das anhand deiner eigenen Sessions herausarbeiten und dann den Service erstellen und bereitstellen.

​
Verwandte Themen

  • Evaluierungssuite: Verbinde deinen Evaluator, den Scoring-Vertrag und das SDK.
  • Evaluator-Agent-Fähigkeit: Lass einen Coding-Agenten deine Score-Dimensionen festlegen und den Evaluator erstellen.
  • Sessions: Das laufbasierte Grid, in dem Bewertungen erscheinen.
  • Dashboards: Qualitätstrends in deiner Organisation speichern und teilen.
  • Audits: Das andere automatische Qualitätsmerkmal von Observability für sessionübergreifende Untersuchungen.