El modelo de datos
Evento La unidad mínima de datos. Un evento registra un único paso que realizó tu agente: untool_use, un model_request, un hook_completed, un error, entre otros. Tu agente emite eventos a través del Python SDK; aparecen en tiempo real en la página de Events.
Sesión
Una ejecución del agente, identificada por un session_id. Una sesión agrupa todos los eventos que comparten ese identificador, se muestra como una fila en la página de Sessions y se representa como un grafo de ejecución en su página de detalle. Por lo general, una sesión comienza con agent_start y termina con agent_end.
Agente
Un actor con nombre dentro de una ejecución, identificado por un agent_id. Una ejecución puede involucrar varios agentes: por ejemplo, un planificador que genera un sub-agente de resumen. Los sub-agentes llevan un parent_id, que es lo que permite a Failproof AI Observability representarlos en sus propios carriles dentro del grafo de ejecución.
Entorno
Una etiqueta que indica dónde ocurrió la ejecución: production, staging, dev. Se configura una sola vez al configurar el SDK. Casi todas las páginas del panel permiten filtrar por entorno.
Llenado de la ventana de contexto
El porcentaje de la ventana de contexto de un modelo que consumió una respuesta. Failproof AI Observability lo registra en los eventos model_response para los modelos que reconoce, de modo que el crecimiento del prompt y la compactación inminente sean visibles directamente en el flujo de eventos.
Calidad
Evaluación Una puntuación de calidad para una sesión finalizada, generada por un servicio de puntuación que tú ejecutas. Las evaluaciones son opcionales: hasta que conectes un evaluador, las sesiones se registran pero no se puntúan. Cada evaluación puede incluir varias puntuaciones con nombre (por ejemplo,helpfulness, factuality, tool_efficiency), cada una con una breve nota de razonamiento. Consulta Evaluation suite.
Clave de puntuación
El nombre de una dimensión que reporta un evaluador, como helpfulness. Las alertas y auditorías pueden monitorear una clave de puntuación específica a lo largo del tiempo.
Evaluador
Tu servicio de puntuación. Failproof AI Observability envía mediante POST la transcripción de una ejecución finalizada y almacena las puntuaciones que devuelve. No incluye un evaluador predeterminado; la lógica de puntuación es tuya.
Detección y corrección de fallos
Hook Una barrera de protección o efecto secundario que el framework de tu agente ejecuta alrededor de un paso: una verificación de seguridad de contenido, la eliminación de PII, un control de presupuesto. Los hooks emiten eventoshook_triggered / hook_completed con un outcome (allow, deny, modify), y tienen su propia página de observabilidad.
Regla de alerta
Una regla que se activa cuando una métrica supera un umbral que tú defines: tasa de errores, latencia p95, costo en tokens o una puntuación del evaluador. Cuando se activa una regla, abre un incidente y notifica a los canales que hayas configurado (correo electrónico, Slack, webhook, panel de control). Consulta Alerts.
Incidente
Un problema abierto que se crea cuando se activa una regla de alerta. Los incidentes tienen un ciclo de vida (reconocer, asignar, resolver) y una línea de tiempo de actividad que registra cada acción. También puedes abrir uno manualmente.
Auditoría
Una investigación recurrente (de cada hora a semanal) que analiza tus registros entre sesiones en busca de patrones de fallo para los que aún no has escrito una regla: clústeres de errores, puntuaciones bajas, valores atípicos de latencia, bucles de llamadas a herramientas y ejecuciones que nunca terminaron. Mientras que una alerta monitorea una métrica que ya conoces, una auditoría te indica qué deberías revisar a continuación. Consulta Audits.
Hallazgo
Un resultado priorizado y respaldado por evidencia de una ejecución de auditoría. Un hallazgo identifica un patrón, enlaza con las sesiones exactas que lo respaldan y tiene un ciclo de vida de triaje (reconocer, resolver, silenciar, descartar). Failproof AI Observability deduplica los hallazgos entre ejecuciones, de modo que un patrón conocido se actualiza en lugar de acumularse.
El asistente de IA
El chat integrado en el panel que responde preguntas sobre tus agentes en lenguaje natural, utilizando tus propios datos. Es de solo lectura por defecto; todo lo que crea (una consulta guardada, un panel de control) requiere aprobación, y nunca puede eliminar datos. Consulta AI assistant.
Ejecución
Organización (tenant) Un espacio de trabajo aislado. Una instancia de Failproof AI Observability puede albergar muchas organizaciones, cada una con sus propios usuarios, claves y datos. Cada URL del panel está delimitada por el slug de tu organización (/<org-slug>/…).
Recolector
agenteye-collector, el daemon ligero que se ejecuta en cada máquina de agente, agrupa los eventos que el SDK escribe en disco y los envía al servidor.
Clave de API
Un token con permisos acotados que autentica a un cliente frente al servidor. Las claves tienen permisos granulares (por ejemplo, events:add para el recolector, permisos de solo lectura para una clave de panel). Consulta API keys.
Servidor
El servicio de ingesta y API. Recibe eventos, almacena el estado operativo en tus bases de datos y sirve el panel de control y la CLI.
Panel de control
La interfaz web. Cada página está delimitada a una organización y accede a los datos a través de la API del servidor.
Próximos pasos
- Overview: cómo encajan todas estas piezas.
- Observability: las superficies de observabilidad (Events, Sessions, Models, Tools, Hooks, Errors).