Failproof AI Observability é um produto empresarial da Failproof AI. Quer ver em ação? Solicite uma demonstração: envie um e-mail para nikita@befailproof.ai.
Veja em ação
Dois vídeos curtos mostram as duas coisas que as equipes buscam primeiro: rastrear uma execução e encontrar falhas automaticamente. Rastreamento de agentes: acompanhe uma única execução passo a passo, do objetivo às ferramentas até a resposta final. Failproof Audit: deixe o Failproof AI Observability minerar seus logs entre sessões e identificar o que precisa ser corrigido.Por que as equipes usam
- Veja o que seu agente realmente fez. Cada execução se torna um grafo de execução legível no estilo git: quais ferramentas rodaram em paralelo, quais sub-agentes se ramificaram, onde travou e quanto consumiu.
- Detecte regressões de qualidade automaticamente. Conecte um pequeno serviço de pontuação e o Failproof AI Observability pontua cada execução concluída — uma queda na utilidade ou um pico de alucinações aparece por conta própria.
- Encontre falhas para as quais você não escreveu uma regra. Auditorias recorrentes mineram seus logs entre sessões em busca de clusters de erros, outliers de latência, pontuações baixas e execuções travadas, entregando descobertas classificadas e fundamentadas em evidências.
- Seja alertado quando importa. Regras de threshold disparam sobre taxa de erro, latência, custo ou pontuações de avaliadores e abrem incidentes que você pode reconhecer, atribuir e resolver.
- Faça perguntas em linguagem natural. Um assistente de IA integrado ao dashboard responde perguntas como “como está a qualidade em prod esta semana?” sobre seus próprios dados. Qualquer alteração que ele faça requer aprovação.
- Mantenha seus dados. Failproof AI Observability é auto-hospedado: eventos, prompts e análises ficam na infraestrutura que você controla.
O que você recebe
Failproof AI Observability é organizado em torno de três ideias (observe, analyze e admin), refletidas na barra lateral esquerda do dashboard. Observe (a realidade bruta do que aconteceu):- Event stream: o rastro em tempo real, passo a passo, de cada execução (chamadas de ferramentas, chamadas ao modelo, hooks, erros).
- Sessions: esses eventos consolidados em uma linha por execução, cada uma pronta para ser pontuada, com um grafo de execução no estilo git.
- Performance metrics: mapas de calor de latência por superfície e métricas p50/p95/p99 para modelos, ferramentas e hooks, de modo que um pico na cauda se destaque da mediana.
- Error tracking: uma superfície de triagem unificada para tudo que deu errado, a um clique de um alerta disparado.
- Queries e dashboards: SQL salvo sobre seus eventos e avaliações, transformado em dashboards compartilhados com escopo de organização.
- Evaluations: pontuações de qualidade produzidas pelo seu próprio serviço de avaliação, com raciocínio por pontuação.
- Audits: investigações recorrentes que expõem padrões de falha entre sessões.
- Alerts e incidents: regras de threshold que alertam você, mais um fluxo de trabalho de incidentes para triagem.
- CLI: controle todo o seu deployment pelo terminal ou por um script, e deixe um agente de codificação fazer isso por você em linguagem natural.
- AI assistant: faça perguntas sobre seus agentes em linguagem natural, diretamente no dashboard.
- REST API: tudo o que o dashboard e o CLI fazem é respaldado por uma REST API que você pode chamar diretamente com uma chave de API com escopo — ingira eventos, consulte sessões e avaliações, e gerencie dashboards, alertas, auditorias, usuários e chaves, para integrar o Failproof AI Observability às suas próprias ferramentas.
- API keys: tokens com escopo para o coletor, o dashboard e o assistente.
- Users: login sem senha, baseado em e-mail, com lista de permissões.
- Settings: configuração por organização, incluindo substituições de janela de contexto do modelo.
Como as peças se encaixam
Os dados fluem em uma única direção, do código do seu agente até o dashboard: seu agente (via SDK Python) emite eventos para o agenteye-collector, que os envia ao servidor, que serve o dashboard. Dois serviços opcionais completam o conjunto — um serviço de pontuação (avaliações) e um serviço de assistente de IA (o chat integrado ao dashboard).- SDK Python: você adiciona algumas chamadas
agenteye.event.*ao seu agente; os eventos são armazenados em buffer localmente. - agenteye-collector: um daemon leve em cada máquina de agente que agrupa eventos em lotes e os envia ao servidor.
- Servidor: ingere seus eventos, mantém o estado operacional nos seus próprios bancos de dados e serve a REST API utilizada pelo dashboard, CLI e suas próprias integrações.
- Dashboard: onde você explora tudo.
- Serviços opcionais: um serviço de pontuação (avaliações) e um serviço de assistente de IA (o chat integrado ao dashboard).
Obtendo o Failproof AI Observability
Failproof AI Observability é um produto empresarial da Failproof AI e funciona em conjunto com o Failproof AI Enforcement — o produto de políticas e guardrails — sob a marca Failproof AI. Ele roda inteiramente no seu próprio ambiente. Se você ainda não tem acesso aos pacotes, solicite uma demonstração e entraremos em contato: envie um e-mail para nikita@befailproof.ai.Próximos passos
- Concepts: o vocabulário do Failproof AI Observability em um único lugar.
- Observability: acompanhe o que seus agentes fazem, execução por execução.
- Security: como o Failproof AI Observability mantém seus dados isolados e sob seu controle.