Çevrimiçi değerlendirmeler

​

Değerlendirme kalitesini gözden geçirin

• Dashboard
• CLI

1. Observe → Evaluations sayfasına gidin.
2. Bir seri ekleyin ve ajanı, ortamı, değerlendirme puanını, istatistiği ve eğriyi seçin.
3. Ortamları, ajanları veya puan anahtarlarını karşılaştırmak için seri ekleyin.
4. Eşleşen oturumları açmak veya filtrelenmiş görünümü paylaşmak için bir sonuç seçin. Gecikme, belirteçler, maliyet ve diğer büyüklük değerleri için Observe → Metrics kullanın.

Detaylandırılmış görünümden bir oturumu açarak puan başına gerekçelendirmesini inceleyin:

fp evals --agent-id checkout-agent --aggregate
fp evals --aggregate --env production --status error
fp evals --score helpfulness:0.8.. --since 7d

Otomasyon için evals öncesinde genel --json ekleyin, örneğin fp --json evals --aggregate --env production.

​

İyi değerlendirme hedefleri

• Görev tamamlama veya doğruluk
• Dayanak tutarlılığı ve halüsinasyon riski
• Araç seçimi ve araç verimliliği
• İlke veya süreç uyumu
• Maliyet ve gecikme bütçeleri
• Gerekli insan eskalasyonu

​

Puandan yanıta