O FailproofAI Observability é um produto enterprise da FailproofAI. Quer ver em ação? Solicite uma demonstração: envie um e-mail para nikita@befailproof.ai.
Veja em ação
Dois vídeos curtos mostram as duas coisas que as equipes buscam primeiro: rastrear uma execução e encontrar falhas automaticamente. Rastreamento de agente: acompanhe uma única execução passo a passo, do objetivo às ferramentas até a resposta final. Failproof Audit: deixe o FailproofAI Observability analisar seus logs entre sessões e indicar o que precisa ser corrigido.Por que as equipes utilizam
- Veja o que seu agente realmente fez. Cada execução se torna um grafo de execução legível no estilo git: quais ferramentas rodaram em paralelo, quais sub-agentes se ramificaram, onde travou e quanto custou.
- Detecte regressões de qualidade automaticamente. Conecte um pequeno serviço de pontuação e o FailproofAI Observability avalia cada execução concluída — assim, uma queda na utilidade ou um aumento em alucinações aparece por conta própria.
- Encontre falhas para as quais você não escreveu uma regra. Auditorias recorrentes analisam seus logs entre sessões em busca de clusters de erros, outliers de latência, pontuações baixas e execuções travadas, e entregam descobertas classificadas e embasadas em evidências.
- Seja notificado quando importa. Regras de limite disparam com base em taxa de erros, latência, custo ou pontuações de avaliação, abrindo incidentes que você pode reconhecer, atribuir e resolver.
- Faça perguntas em linguagem natural. Um assistente de IA integrado ao dashboard responde perguntas como “como está a tendência de qualidade em produção essa semana?” usando seus próprios dados. Qualquer alteração que ele faça requer aprovação.
- Mantenha seus dados. O FailproofAI Observability é self-hosted: eventos, prompts e análises ficam na infraestrutura que você controla.
O que você recebe
O FailproofAI Observability é organizado em torno de três ideias (observar, analisar e administrar), refletidas na barra lateral esquerda do dashboard. Observar (a verdade bruta do que aconteceu):- Stream de eventos: o rastro ao vivo, passo a passo, de cada execução (chamadas de ferramentas, chamadas ao modelo, hooks, erros).
- Sessões: esses eventos consolidados em uma linha por execução, cada uma pronta para ser avaliada, com um grafo de execução no estilo git.
- Métricas de desempenho: mapas de calor de latência por superfície e indicadores p50/p95/p99 para modelos, ferramentas e hooks — para que um pico na cauda se destaque da mediana.
- Rastreamento de erros: uma única superfície de triagem para tudo que deu errado, a um clique de distância de um alerta ativo.
- Consultas e dashboards: SQL salvo sobre seus eventos e avaliações, visualizado em dashboards compartilhados com escopo por organização.
- Avaliações: pontuações de qualidade produzidas pelo seu próprio serviço de avaliação, com raciocínio por pontuação.
- Auditorias: investigações recorrentes que expõem padrões de falha entre sessões.
- Alertas e incidentes: regras de limite que te notificam, mais um fluxo de trabalho de incidentes para triagem.
- CLI: gerencie todo o seu deployment pelo terminal ou por um script, e deixe um agente de código fazer isso por você em linguagem natural.
- Assistente de IA: faça perguntas sobre seus agentes em linguagem natural, diretamente no dashboard.
- Chaves de API: tokens com escopo para o coletor, o dashboard e o assistente.
- Usuários: login sem senha, baseado em e-mail com lista de permissões.
- Configurações: configuração por organização, incluindo sobrescritas de janela de contexto do modelo.
Como as peças se encaixam
Os dados fluem em uma única direção, do seu código de agente até o dashboard: seu agente (via SDK Python) emite eventos para o agenteye-collector, que os envia ao servidor, que serve o dashboard. Dois serviços opcionais complementam a solução — um serviço de pontuação (avaliações) e um serviço de assistente de IA (o chat integrado ao dashboard).- SDK Python: você adiciona algumas chamadas
agenteye.event.*ao seu agente; os eventos são armazenados em buffer localmente. - agenteye-collector: um daemon leve em cada máquina de agente que agrupa eventos em lotes e os envia ao servidor.
- Servidor: ingere seus eventos e mantém o estado operacional nos seus próprios bancos de dados.
- Dashboard: onde você explora tudo.
- Serviços opcionais: um serviço de pontuação (avaliações) e um serviço de assistente de IA (o chat integrado ao dashboard).
Obtendo o FailproofAI Observability
O FailproofAI Observability é um produto enterprise da FailproofAI e funciona ao lado do FailproofAI Enforcement — o produto de políticas e guardrails — sob a marca FailproofAI. Ele roda inteiramente no seu próprio ambiente. Se você ainda não tem acesso aos pacotes, solicite uma demonstração e vamos te configurar: envie um e-mail para nikita@befailproof.ai.Próximos passos
- Conceitos: o vocabulário do FailproofAI Observability em um único lugar.
- Observability: acompanhe o que seus agentes fazem, execução por execução.
- Segurança: como o FailproofAI Observability mantém seus dados isolados e sob seu controle.