O modelo de dados
Evento A menor unidade de dados. Um evento registra um único passo executado pelo seu agente: umtool_use, um model_request, um hook_completed, um error, entre outros. Seu agente emite eventos por meio do Python SDK; eles aparecem em tempo real na página Events.
Sessão
Uma execução do agente, identificada por um session_id. Uma sessão é composta por todos os eventos que compartilham esse id, consolidados em uma única linha na página Sessions e representados como um grafo de execução na página de detalhes. Uma sessão normalmente começa com agent_start e termina com agent_end.
Agente
Um ator nomeado dentro de uma execução, identificado por um agent_id. Uma execução pode envolver vários agentes: por exemplo, um planejador que cria um sub-agente de resumo. Sub-agentes carregam um parent_id, que é o que permite ao Failproof AI Observability exibi-los em suas próprias faixas no grafo de execução.
Ambiente
Um rótulo que indica onde a execução ocorreu: production, staging, dev. Você o define uma única vez ao configurar o SDK. Quase todas as páginas do dashboard permitem filtrar por ambiente.
Preenchimento da janela de contexto
O percentual da janela de contexto de um modelo consumido por uma resposta. O Failproof AI Observability registra esse valor em eventos model_response para os modelos que reconhece, tornando o crescimento do prompt e a compactação iminente visíveis diretamente no fluxo de eventos.
Qualidade
Avaliação Uma pontuação de qualidade para uma sessão concluída, produzida por um serviço de pontuação que você executa. As avaliações são opcionais: até que você conecte um avaliador, as sessões são registradas, mas não pontuadas. Cada avaliação pode conter várias pontuações nomeadas (por exemplo,helpfulness, factuality, tool_efficiency), cada uma com uma breve nota de raciocínio. Veja Evaluation suite.
Chave de pontuação
O nome de uma dimensão que um avaliador reporta, como helpfulness. Alertas e auditorias podem monitorar uma chave de pontuação específica ao longo do tempo.
Avaliador
Seu serviço de pontuação. O Failproof AI Observability faz um POST com a transcrição de uma execução concluída para ele e armazena as pontuações retornadas. Não há um avaliador padrão incluído; a lógica de pontuação é sua.
Identificando e corrigindo falhas
Hook Uma salvaguarda ou efeito colateral que seu framework de agentes executa em torno de um passo: uma verificação de segurança de conteúdo, anonimização de dados pessoais, um controle de orçamento. Hooks emitem eventoshook_triggered / hook_completed com um outcome (allow, deny, modify) e têm sua própria página de observação.
Regra de alerta
Uma regra que é acionada quando uma métrica ultrapassa um limite definido por você: taxa de erros, latência p95, custo em tokens ou uma pontuação de avaliação. Quando uma regra é acionada, ela abre um incidente e notifica os canais escolhidos (e-mail, Slack, webhook, no dashboard). Veja Alerts.
Incidente
Uma questão em aberto criada quando uma regra de alerta é acionada. Incidentes têm um ciclo de vida (reconhecer, atribuir, resolver) e uma linha do tempo de atividades que registra cada ação. Você também pode abrir um manualmente.
Auditoria
Uma investigação recorrente (de hora em hora a semanalmente) que analisa seus logs entre sessões em busca de padrões de falha para os quais você ainda não escreveu uma regra: clusters de erros, pontuações baixas, outliers de latência, loops de chamadas de ferramentas e execuções que nunca foram concluídas. Enquanto um alerta monitora uma métrica que você já conhece, uma auditoria indica o que você deve examinar a seguir. Veja Audits.
Descoberta
Um resultado classificado e embasado em evidências proveniente de uma execução de auditoria. Uma descoberta nomeia um padrão, vincula às sessões exatas que o sustentam e possui um ciclo de vida de triagem (reconhecer, resolver, silenciar, descartar). O Failproof AI Observability deduplica descobertas entre execuções, de forma que um padrão conhecido seja atualizado em vez de se acumular.
O assistente de IA
O chat integrado ao dashboard que responde perguntas sobre seus agentes em linguagem natural, utilizando seus próprios dados. Por padrão, é somente leitura; qualquer coisa que ele crie (uma consulta salva, um dashboard) requer aprovação, e ele nunca pode excluir dados. Veja AI assistant.
Operação
Organização (tenant) Um espaço de trabalho isolado. Uma instância do Failproof AI Observability pode hospedar várias organizações, cada uma com seus próprios usuários, chaves e dados. Toda URL do dashboard é delimitada pelo slug da sua organização (/<org-slug>/…).
Coletor
agenteye-collector, o daemon leve que é executado em cada máquina de agente, agrupa os eventos que o SDK grava em disco e os envia para o servidor.
Chave de API
Um token com escopo definido que autentica um cliente junto ao servidor. As chaves carregam permissões granulares (por exemplo, events:add para o coletor, escopos somente leitura para uma chave de dashboard). Veja API keys.
Servidor
O serviço de ingestão e API. Ele ingere eventos, armazena o estado operacional nos seus bancos de dados e serve o dashboard e a CLI.
Dashboard
A interface web. Cada página é delimitada a uma organização e lê os dados por meio da API do servidor.
Próximos passos
- Overview: como essas peças se encaixam.
- Observability: as superfícies de observação (Events, Sessions, Models, Tools, Hooks, Errors).