Online-Evaluierungen

​

Evaluierungsqualität überprüfen

• Dashboard
• CLI

1. Gehen Sie zu Observe → Evaluations.
2. Fügen Sie eine Datenreihe hinzu und wählen Sie den Agenten, die Umgebung, den Evaluierungswert, die Statistik und die Kurve.
3. Fügen Sie Datenreihen hinzu, um Umgebungen, Agenten oder Score-Schlüssel zu vergleichen.
4. Wählen Sie ein Ergebnis aus, um passende Sitzungen zu öffnen oder die gefilterte Ansicht zu teilen. Verwenden Sie Observe → Metrics für Latenz, Tokens, Kosten und andere Größenwerte.

Öffnen Sie eine Sitzung aus der Detailansicht, um ihre sitzungsbezogene Begründung zu untersuchen:

fp evals --agent-id checkout-agent --aggregate
fp evals --aggregate --env production --status error
fp evals --score helpfulness:0.8.. --since 7d

Fügen Sie globales --json vor evals für die Automatisierung hinzu, zum Beispiel fp --json evals --aggregate --env production.

​

Geeignete Evaluierungsziele

• Aufgabenerfüllung oder Korrektheit
• Faktentreue und Halluzinationsrisiko
• Tool-Auswahl und Tool-Effizienz
• Richtlinien- oder Prozess-Compliance
• Kosten- und Latenzbudgets
• Erforderliche Eskalation an Menschen

​

Vom Score zur Reaktion