jq. Essas receitas transformam os dados da Failproof AI Observability em algo que um usuário de terminal ou um agente de codificação com IA (Claude Code, Cursor) pode consultar e automatizar, sem precisar clicar no dashboard.
Os padrões abaixo estão prontos para copiar e usar com a CLI da Failproof AI Observability (agenteye). Para instalação, autenticação e a lista completa de opções, consulte CLI; execute agenteye -h ou agenteye <command> -h para a ajuda integrada.
Regras de ouro
- As opções globais vão antes do comando.
agenteye --json sessionsestá correto;agenteye sessions --jsonnão está. As opções globais são--json,--base-url,--org,--token,--insecure/--secure,--timeout,--quiet,--no-color. - Passe
--jsonsempre que for parsear a saída. Os dados vão para o stdout como JSON; mensagens de status e erros para humanos vão para o stderr, mantendo o stdout limpo para redirecionar aojq. - Ramifique pelo código de saída, não pelo texto do stderr:
0ok ·1erro inesperado ·2argumentos inválidos ·3não foi possível alcançar o dashboard ·4não autenticado ou sessão expirada ·5permissão ausente ·6recurso não encontrado. - Explore com
-h. Cada comando documenta seus filtros, formatos de valores e estrutura JSON.
Configuração inicial
Confirme a autenticação antes de executar tarefas
whoami nunca retorna erro em caso de sessão ausente ou expirada; ele reporta logged_in:false em vez disso, para que um agente possa verificar o estado de autenticação com segurança. (Ainda pode sair com código diferente de zero se nenhuma URL base estiver definida ou se o dashboard estiver inacessível.)
Encontre sessões com falha ou pontuação baixa
evals, não em sessions. --score KEY:MIN..MAX é repetível e combinado com AND; qualquer um dos limites é opcional (..0.5 significa ≤ 0.5, 0.9.. significa ≥ 0.9). Você pode passar até 20 filtros de pontuação por requisição; mais que isso retorna HTTP 400. sessions compartilha os filtros --env, --status, --agent-id, --session-id e de intervalo de tempo com evals, mas não possui --score.
Leia uma sessão do início ao fim
Não existe um único comandosession show. Combine o histórico de eventos com a avaliação da sessão:
Nota: Por padrão,eventslê um feed rápido sem payload. Cada evento carrega umsummaryde uma linha calculado pelo servidor, além de flags comois_errore contagens de tokens, maspayloadretorna como{}. Para obter o payload bruto, adicione--full(ou--fields payload). O feed completo é mais lento em grande escala, então mantenha-o delimitado: combine--fullcom um único--session-id.
Busque tudo (paginação)
Os resultados são os mais recentes primeiro e paginados por cursor.Reduza a saída com —fields
Restrinja as chaves (tanto na tabela quanto em--json) para diminuir o que um agente precisa ler.
2) com a lista de campos válidos — uma forma simples de descobri-los.
Descubra valores de filtro válidos
Escolha sua organização (multi-tenant)
Se você pertence a mais de uma organização, escolha o tenant ativo no login (ele é salvo):--org sai com código diferente de zero e exibe as organizações disponíveis para escolha.
Provisione uma chave de API para o SDK/coletor
Execute uma consulta salva ou ad-hoc
Faça a triagem de um incidente sem interação
Nota: Mutações pulam automaticamente a confirmação interativa quando--jsonestá ativo ou quando o stdin não é um TTY, para que agentes nunca fiquem travados; passe--yes/-ypara pulá-la explicitamente em outros contextos.
Tratamento de código de saída em um script
Estruturas de saída JSON
- Cada item de evento (
events):id, session_id, agent_id, event_type, ts, payload, environment, summary, is_error, error_type, output_tokens, context_window, context_fill. Observe quepayloadé{}a menos que você solicite o feed completo com--full(ou--fields payload). - Cada item de avaliação (
evals):id, session_id, agent_id, environment, status, scores, reasoning, summary, error, attempt_count, duration_ms, completed_at, created_at. - Cada item de sessão (
sessions):session_id, agent_id, environment, status, scores, event_count, started_at, last_event_at, first_event_id, last_event_id, latest_evaluation.
--fields de cada comando aceita exatamente os nomes de campos do seu próprio item. O conjunto difere entre sessions e evals, então um nome válido para um pode ser rejeitado pelo outro.
Próximos passos
- CLI: instalação, autenticação e a referência completa de opções para cada comando.
- Skill de agente CLI: empacote essas receitas como uma skill que seu agente de codificação pode carregar.
- Chaves de API: crie e delimite as chaves com as quais a CLI, o SDK e o coletor se autenticam.
- Python SDK: envie eventos para a Failproof AI Observability para que haja dados que essas receitas possam consultar.

