Çevrimiçi değerlendirmeler

​

Değerlendirme kalitesini gözden geçirin

• Dashboard
• CLI

1. Observe → Evaluations sayfasına gidin.
2. Bir seri ekleyin ve ajan, ortam, değerlendirme puanı, istatistik ve eğriyi seçin.
3. Ortamları, ajanları veya puan anahtarlarını karşılaştırmak için seri ekleyin.
4. Eşleşen oturumları açmak veya filtrelenmiş görünümü paylaşmak için bir sonucu seçin. Gecikme, token, maliyet ve diğer büyüklük değerleri için Observe → Metrics kullanın.

Her puan için akıl yürütmeyi incelemek için drill-down’dan bir oturum açın:

fp evals --agent-id checkout-agent --aggregate
fp evals --aggregate --env production --status error
fp evals --score helpfulness:0.8.. --since 7d

Otomasyon için evals öncesine global --json ekleyin, örneğin fp --json evals --aggregate --env production.

​

İyi değerlendirme hedefleri

• Görev tamamlanması veya doğruluğu
• Gerçeklilik ve halüsinasyon riski
• Araç seçimi ve araç verimliliği
• İlke veya süreç uyumu
• Maliyet ve gecikme bütçeleri
• Gerekli insan eskalasyonu

​

Puandan yanıta