Métricas de Performance

Veja no instante em que seus modelos, ferramentas ou hooks ficam lentos ou aumentam sua fatura, e detecte um pico de latência na cauda antes que seus usuários percebam. Três páginas dedicadas transformam tempos brutos em p50, p95 e p99 que você lê de relance. A página Models: um mapa de calor de latência, uma faixa de percentis e, por modelo, tokens, custo estimado e ocupação da janela de contexto.

​

Pare de deixar as médias esconderem suas piores execuções

Um número médio de latência é reconfortante e inútil: ele suaviza aquela chamada em cinquenta que trava e aciona seu plantão às 2h da manhã. As páginas Models, Tools e Hooks recusam fazer isso. Cada uma tem o mesmo formato, então você aprende uma vez:

• Um sparkline de 24 bins para a tendência de relance: isso está piorando?
• Uma faixa de vitais com latência p50, p95 e p99, para que a execução típica e a cauda fiquem lado a lado.
• Um mapa de calor de latência, com 24 bins de tempo por buckets de latência, que mostra quando as chamadas lentas se agruparam.
• Uma faixa de percentis: uma linha p50 com faixas sombreadas de p25 a p75 e p10 a p90 e pontos p99, para que a dispersão permaneça visível em vez de ser diluída na média.

Um crosshair de hover compartilhado conecta o mapa de calor e a faixa, então um pico na cauda se alinha no tempo nos dois em vez de se esconder atrás de uma única linha de média. Encontre as três páginas na seção observe do seu dashboard, cada uma com escopo para sua organização e filtrável por intervalo de datas, ambiente, agente e sessão.

​

Models: veja exatamente o que cada modelo custa

A página Models (exibida acima) responde às duas perguntas que uma fatura sempre levanta: qual modelo e quanto. Além da visão de latência compartilhada, ela adiciona consumo de tokens por modelo, custo estimado e ocupação da janela de contexto, para que o crescimento descontrolado de prompts e uma compactação iminente sejam visíveis antes de te surpreenderem. O Failproof AI Observability reconhece IDs de modelos comuns automaticamente. Se uma janela parecer incorreta, ou se você rodar um modelo próprio privado, corrija ou adicione um em Settings, em model context windows, e as leituras de ocupação se atualizam.

​

Tools: distinga o lento do quebrado

Uma chamada de ferramenta pode ser lenta ou pode estar falhando silenciosamente, e você quer saber qual é o caso em segundos, não após vasculhar logs. A página Tools: o mesmo mapa de calor e faixa de percentis, mais uma divisão de sucesso e falha e uma barra de distribuição de ferramentas. Junto à visão de latência compartilhada, a página Tools adiciona uma divisão de sucesso e falha e uma barra de distribuição de ferramentas, para que você veja de relance em quais ferramentas você mais depende e quais estão consumindo seu orçamento de erros.

​

Hooks: identifique o hook e o gatilho exatos

Quando um hook de ciclo de vida atrasa uma execução, “os hooks estão lentos” não é algo sobre o qual você pode agir. A página Hooks leva você até o que importa. A página Hooks: latência detalhada por nome de hook e evento de gatilho. Sobre o mesmo mapa de calor de latência e faixa de percentis, a página Hooks detalha a atividade por nome do hook e evento de gatilho, para que você chegue ao único hook e ao único evento que precisam de atenção.

​

Relacionados

• Event stream: o rastro em tempo real, com código de cores, de cada evento.
• Sessions: agrupe eventos em uma linha por execução e abra seu grafo de execução.
• Error tracking: uma superfície de triagem unificada para tudo que o dashboard pinta de vermelho.
• Dashboards: visões consolidadas de toda a sua frota.