Avaliações online

​

Revisar a qualidade das avaliações

• Dashboard
• CLI

1. Acesse Observe → Evaluations.
2. Adicione uma série e escolha o agente, o ambiente, a pontuação da avaliação, a estatística e a curva.
3. Adicione séries para comparar ambientes, agentes ou chaves de pontuação.
4. Selecione um resultado para abrir as sessões correspondentes ou compartilhar a visualização filtrada. Use Observe → Metrics para latência, tokens, custo e outros valores de magnitude.

Abra uma sessão no drill-down para inspecionar o raciocínio por pontuação:

fp evals --agent-id checkout-agent --aggregate
fp evals --aggregate --env production --status error
fp evals --score helpfulness:0.8.. --since 7d

Adicione --json globalmente antes de evals para automação, por exemplo fp --json evals --aggregate --env production.

​

Bons alvos de avaliação

• Conclusão de tarefas ou precisão
• Fundamentação e risco de alucinação
• Seleção e eficiência de ferramentas
• Conformidade com políticas ou processos
• Orçamentos de custo e latência
• Escalada humana obrigatória

​

Da pontuação à resposta