Valutazioni online

​

Rivedere la qualità della valutazione

• Dashboard
• CLI

1. Vai a Observe → Evaluations.
2. Aggiungi una serie e scegli l’agente, l’ambiente, il punteggio di valutazione, la statistica e la curva.
3. Aggiungi serie per confrontare ambienti, agenti o chiavi di punteggio.
4. Seleziona un risultato per aprire le sessioni corrispondenti o condividere la vista filtrata. Usa Observe → Metrics per latenza, token, costi e altri valori di grandezza.

Apri una sessione dal drill-down per ispezionare il suo ragionamento per punteggio:

fp evals --agent-id checkout-agent --aggregate
fp evals --aggregate --env production --status error
fp evals --score helpfulness:0.8.. --since 7d

Aggiungi il flag globale --json prima di evals per l’automazione, ad esempio fp --json evals --aggregate --env production.

​

Buoni obiettivi di valutazione

• Completamento o correttezza del compito
• Fondatezza e rischio di allucinazione
• Selezione degli strumenti ed efficienza degli strumenti
• Conformità alle politiche o ai processi
• Budget di costi e latenza
• Escalation umana richiesta

​

Dal punteggio alla risposta