Verfolge die Zuverlässigkeitssignale, die für einen Agenten oder Workflow relevant sind.
Dashboards fassen gespeicherte Abfragen zu einer operativen Übersicht zusammen. Erstelle sie auf Basis einer Entscheidung, die jemand treffen soll – nicht auf Basis aller verfügbaren Metriken.
Gehe zu Analyze → Queries, erstelle oder öffne eine gespeicherte Abfrage und überprüfe ihr Ergebnis.
Wähle add to dashboard und wähle dann ein bestehendes Dashboard oder erstelle eines unter Analyze → Dashboards.
Öffne das Dashboard, wechsle in den Bearbeitungsmodus, ordne die Kacheln an und speichere das Layout.
Kehre zur Abfrage zurück, wenn du die Daten oder Filter hinter einer Kachel ändern möchtest.
Dashboard-CRUD ist über die aktuelle Cloud-CLI nicht verfügbar. Verwende die CLI, um die gespeicherte Abfrage zu erstellen und zu überprüfen, und füge sie anschließend über die Benutzeroberfläche einem Dashboard hinzu.
Modelle: Volumen, Latenz, Token-Nutzung, Fehlerrate und Evaluierungswerte.
Evaluierungen: Erfolgsrate und Score-Trends nach Agent oder Umgebung.
Tools: Aufrufvolumen, Fehlerrate, Dauer und wiederholte Aufrufe.
Hooks und Richtlinien: Entscheidungen, Ablehnungen und Richtlinien-Trefferrate.
Benutzerdefinierte Workflow-Metriken: Ergebnisse aus eigenen Ereignisfeldern und SQL.
Beginne mit einer gespeicherten Abfrage, überprüfe ihr Ergebnis und füge sie dann als Kachel hinzu. Halte Produktions- und Entwicklungsfilter explizit, damit Testdatenverkehr keine Regression verbirgt.
Weise jedem Dashboard einen Verantwortlichen und eine Leitfrage zu, z. B. „Ist die Zuverlässigkeit des Checkout-Agenten schlechter als letzte Woche?”
