Skip to main content
Extraia dados de sessão, evento e avaliação (e dispare reavaliações) diretamente de um script ou agente de codificação, com JSON limpo no stdout que pode ser redirecionado diretamente para jq. Essas receitas transformam os dados da Failproof AI Observability em algo que um usuário de terminal ou um agente de codificação com IA (Claude Code, Cursor) pode consultar e automatizar, sem precisar clicar no dashboard. Os padrões abaixo estão prontos para copiar e usar com a CLI da Failproof AI Observability (agenteye). Para instalação, autenticação e a lista completa de opções, consulte CLI; execute agenteye -h ou agenteye <command> -h para a ajuda integrada.

Regras de ouro

  1. As opções globais vão antes do comando. agenteye --json sessions está correto; agenteye sessions --json não está. As opções globais são --json, --base-url, --org, --token, --insecure/--secure, --timeout, --quiet, --no-color.
  2. Passe --json sempre que for parsear a saída. Os dados vão para o stdout como JSON; mensagens de status e erros para humanos vão para o stderr, mantendo o stdout limpo para redirecionar ao jq.
  3. Ramifique pelo código de saída, não pelo texto do stderr: 0 ok · 1 erro inesperado · 2 argumentos inválidos · 3 não foi possível alcançar o dashboard · 4 não autenticado ou sessão expirada · 5 permissão ausente · 6 recurso não encontrado.
  4. Explore com -h. Cada comando documenta seus filtros, formatos de valores e estrutura JSON.

Configuração inicial

Confirme a autenticação antes de executar tarefas

whoami nunca retorna erro em caso de sessão ausente ou expirada; ele reporta logged_in:false em vez disso, para que um agente possa verificar o estado de autenticação com segurança. (Ainda pode sair com código diferente de zero se nenhuma URL base estiver definida ou se o dashboard estiver inacessível.)

Encontre sessões com falha ou pontuação baixa

A filtragem por pontuação fica no evals, não em sessions. --score KEY:MIN..MAX é repetível e combinado com AND; qualquer um dos limites é opcional (..0.5 significa ≤ 0.5, 0.9.. significa ≥ 0.9). Você pode passar até 20 filtros de pontuação por requisição; mais que isso retorna HTTP 400. sessions compartilha os filtros --env, --status, --agent-id, --session-id e de intervalo de tempo com evals, mas não possui --score.

Leia uma sessão do início ao fim

Não existe um único comando session show. Combine o histórico de eventos com a avaliação da sessão:
Nota: Por padrão, events lê um feed rápido sem payload. Cada evento carrega um summary de uma linha calculado pelo servidor, além de flags como is_error e contagens de tokens, mas payload retorna como {}. Para obter o payload bruto, adicione --full (ou --fields payload). O feed completo é mais lento em grande escala, então mantenha-o delimitado: combine --full com um único --session-id.

Busque tudo (paginação)

Os resultados são os mais recentes primeiro e paginados por cursor.

Reduza a saída com —fields

Restrinja as chaves (tanto na tabela quanto em --json) para diminuir o que um agente precisa ler.
Nomes de campos desconhecidos são rejeitados (saída 2) com a lista de campos válidos — uma forma simples de descobri-los.

Descubra valores de filtro válidos

Escolha sua organização (multi-tenant)

Se você pertence a mais de uma organização, escolha o tenant ativo no login (ele é salvo):
Um login em múltiplas organizações sem --org sai com código diferente de zero e exibe as organizações disponíveis para escolha.

Provisione uma chave de API para o SDK/coletor

Execute uma consulta salva ou ad-hoc

Faça a triagem de um incidente sem interação

Nota: Mutações pulam automaticamente a confirmação interativa quando --json está ativo ou quando o stdin não é um TTY, para que agentes nunca fiquem travados; passe --yes/-y para pulá-la explicitamente em outros contextos.

Tratamento de código de saída em um script

Estruturas de saída JSON

  • Cada item de evento (events): id, session_id, agent_id, event_type, ts, payload, environment, summary, is_error, error_type, output_tokens, context_window, context_fill. Observe que payload é {} a menos que você solicite o feed completo com --full (ou --fields payload).
  • Cada item de avaliação (evals): id, session_id, agent_id, environment, status, scores, reasoning, summary, error, attempt_count, duration_ms, completed_at, created_at.
  • Cada item de sessão (sessions): session_id, agent_id, environment, status, scores, event_count, started_at, last_event_at, first_event_id, last_event_id, latest_evaluation.
O --fields de cada comando aceita exatamente os nomes de campos do seu próprio item. O conjunto difere entre sessions e evals, então um nome válido para um pode ser rejeitado pelo outro.

Próximos passos

  • CLI: instalação, autenticação e a referência completa de opções para cada comando.
  • Skill de agente CLI: empacote essas receitas como uma skill que seu agente de codificação pode carregar.
  • Chaves de API: crie e delimite as chaves com as quais a CLI, o SDK e o coletor se autenticam.
  • Python SDK: envie eventos para a Failproof AI Observability para que haja dados que essas receitas possam consultar.