Skip to main content
Os resultados de cada avaliação, sejam hospedadas ou do seu próprio worker, chegam nos mesmos lugares.

​
Compare pontuações ao longo do tempo

Acesse Observe → evaluations.
  • Recent runs lista cada avaliação conforme ela chega: se veio de um avaliador hospedado (managed) ou do seu próprio (customer), o agente e a sessão, a avaliação e sua versão, o status e a pontuação ou métricas.
  • Score over time plota o que você solicitar. Selecione add series e escolha um agente, um ambiente, uma avaliação e uma estatística: avg, min, max, p50, p75, p90, p95, p99, stddev ou mode. Cada série é uma linha; atribua uma curve própria para desenhá-la em um gráfico separado. A página de avaliações: execuções recentes marcadas como customer, um gráfico de pontuação ao longo do tempo com linhas de referência em 0,5 e 0,8, e uma série calculando a média de finished_clean entre todos os agentes e ambientes.
Um único intervalo de tempo e um tamanho de bin se aplicam a todas as séries. Um bin fino identifica um incidente; um mais grosseiro mostra uma tendência e pode ocultar os picos que você está procurando. Um intervalo sem nenhuma pontuação aparece como uma lacuna na linha, nunca como zero, e linhas de referência marcam 0,5 e 0,8.Cada parte da visualização está na URL: share copia o link, e quem o abrir verá exatamente a comparação que você criou.
Plote avg e p90 para a mesma avaliação para verificar se uma boa média está ocultando uma cauda ruim, ou a mesma avaliação para dois agentes, ou para produção e staging, comparando-os no mesmo eixo. Custos, latências e contagens de tokens, que possuem unidades, são exibidos em Observe → metrics, um gráfico por unidade.

​
Veja por que uma sessão teve pontuação baixa

Abra uma sessão em Observe → sessions; a grade exibe as pontuações de cada sessão e permite filtrar por faixa de pontuação. O painel lateral direito da sessão começa com o resumo da avaliação, seguido de uma barra por pontuação com o raciocínio do avaliador abaixo dela. Uma visão detalhada de sessão mostrando pontuações de avaliação e raciocínio ao lado do trace completo.

​
Consulte o assistente

Faça perguntas sobre dados de avaliação em linguagem natural: “me fale sobre algumas das avaliações recentes”, ou quais agentes estão com pontuações em queda. O assistente lê e analisa os resultados e responde com tabelas que você pode explorar mais a fundo; uma pergunta relevante pode se tornar uma query ou um dashboard. A página de avaliações ao lado do assistente, que responde à pergunta sobre avaliações recentes com um resumo de totais, status e pontuações.

​
Monitore e aja

  • Dashboards, em Analyze → dashboards, acompanham as pontuações em destaque, por agente e ambiente, para toda a organização. Um dashboard de qualidade mostrando pontuações médias de avaliação e tendências ao longo do tempo.
  • Alerts notificam você quando uma pontuação cruza um limite. Consulte alerts.
  • Quando uma pontuação cai em muitas sessões, execute uma auditoria para descobrir o motivo; quando a causa é uma ação repetível, escreva uma política.