Valutazioni online

​

Verifica la qualità della valutazione

• Dashboard
• CLI

1. Vai a Observe → Evaluations.
2. Aggiungi una serie e scegli l’agente, l’ambiente, il punteggio di valutazione, la statistica e la curva.
3. Aggiungi serie per confrontare ambienti, agenti o chiavi di punteggio.
4. Seleziona un risultato per aprire le sessioni corrispondenti o condividere la vista filtrata. Usa Observe → Metrics per latenza, token, costi e altri valori di grandezza.

Apri una sessione dal drill-down per ispezionare il ragionamento per ogni punteggio:

fp evals --agent-id checkout-agent --aggregate
fp evals --aggregate --env production --status error
fp evals --score helpfulness:0.8.. --since 7d

Aggiungi l’opzione globale --json prima di evals per l’automazione, ad esempio fp --json evals --aggregate --env production.

​

Buoni target di valutazione

• Completamento dell’attività o correttezza
• Fondatezza e rischio di allucinazione
• Selezione dello strumento ed efficienza dello strumento
• Conformità a politiche o processi
• Budget di costi e latenza
• Escalation umana richiesta

​

Dal punteggio alla risposta