FailproofAI Observability es un producto empresarial de FailproofAI. ¿Quieres verlo en acción? Solicita una demo: escribe a nikita@befailproof.ai.
Vélo en acción
Dos vídeos cortos muestran las dos cosas que los equipos buscan primero: rastrear una ejecución y detectar fallos automáticamente. Rastreo de agentes: sigue una sola ejecución paso a paso, desde el objetivo hasta las herramientas y la respuesta final. Failproof Audit: deja que FailproofAI Observability analice tus registros entre sesiones y te diga qué debes corregir.Por qué los equipos lo usan
- Ve lo que tu agente realmente hizo. Cada ejecución se convierte en un grafo de ejecución legible estilo git: qué herramientas se ejecutaron en paralelo, qué subagentes se ramificaron, dónde se atascó y cuánto consumió.
- Detecta regresiones de calidad automáticamente. Conecta un pequeño servicio de puntuación y FailproofAI Observability puntúa cada ejecución terminada, de modo que una caída en la utilidad o un aumento en las alucinaciones aparece por sí solo.
- Encuentra fallos para los que no escribiste una regla. Las auditorías recurrentes analizan tus registros entre sesiones en busca de clústeres de errores, valores atípicos de latencia, puntuaciones bajas y ejecuciones bloqueadas, y luego te entregan hallazgos clasificados y respaldados por evidencias.
- Recibe alertas cuando importa. Las reglas de umbral se activan ante tasas de error, latencia, coste o puntuaciones del evaluador, y abren incidentes que puedes reconocer, asignar y resolver.
- Haz preguntas en lenguaje natural. Un asistente de IA integrado en el panel responde preguntas como “¿cómo está evolucionando la calidad en producción esta semana?” sobre tus propios datos. Cualquier cambio que realice requiere aprobación.
- Conserva tus datos. FailproofAI Observability es autoalojado: los eventos, prompts y análisis permanecen en la infraestructura que tú controlas.
Qué obtienes
FailproofAI Observability se organiza en torno a tres conceptos (observar, analizar y administrar), reflejados en la barra lateral izquierda del panel de control. Observar (la verdad en bruto de lo que ocurrió):- Flujo de eventos: el rastro en vivo, paso a paso, de cada ejecución (llamadas a herramientas, llamadas al modelo, hooks, errores).
- Sesiones: esos eventos agrupados en una fila por ejecución, cada una lista para ser puntuada, con un grafo de ejecución estilo git.
- Métricas de rendimiento: mapas de calor de latencia por superficie y valores vitales p50/p95/p99 para modelos, herramientas y hooks, de modo que un pico en la cola destaque frente a la mediana.
- Seguimiento de errores: una única superficie de triaje para todo lo que salió mal, a un clic de una alerta activa.
- Consultas y paneles: SQL guardado sobre tus eventos y evaluaciones, representado en paneles compartidos con alcance de organización.
- Evaluaciones: puntuaciones de calidad producidas por tu propio servicio evaluador, con el razonamiento detrás de cada puntuación.
- Auditorías: investigaciones recurrentes que sacan a la luz patrones de fallos entre sesiones.
- Alertas e incidentes: reglas de umbral que te avisan, más un flujo de trabajo de incidentes para gestionarlos.
- CLI: gestiona todo tu despliegue desde el terminal o un script, y deja que un agente de codificación lo haga por ti en lenguaje natural.
- Asistente de IA: haz preguntas sobre tus agentes en lenguaje natural, directamente dentro del panel de control.
- Claves de API: tokens con ámbito para el recolector, el panel y el asistente.
- Usuarios: inicio de sesión sin contraseña, basado en correo electrónico, con una lista de permitidos.
- Configuración: ajustes por organización, incluidas las anulaciones de la ventana de contexto del modelo.
Cómo encajan las piezas
Los datos fluyen en una sola dirección, desde el código de tu agente hasta el panel de control: tu agente (a través del SDK de Python) emite eventos al agenteye-collector, que los envía al servidor, que sirve el panel de control. Dos servicios opcionales completan el conjunto: un servicio de puntuación (evaluaciones) y un servicio de asistente de IA (el chat integrado en el panel).- SDK de Python: añades unas pocas llamadas
agenteye.event.*a tu agente; los eventos se almacenan en búfer localmente. - agenteye-collector: un daemon ligero en cada máquina del agente que agrupa los eventos y los envía al servidor.
- Servidor: ingiere tus eventos y mantiene el estado operativo en tus propias bases de datos.
- Panel de control: donde exploras todo.
- Servicios opcionales: un servicio de puntuación (evaluaciones) y un servicio de asistente de IA (el chat integrado en el panel).
Cómo obtener FailproofAI Observability
FailproofAI Observability es un producto empresarial de FailproofAI, y funciona junto a FailproofAI Enforcement — el producto de políticas y salvaguardas — bajo la marca FailproofAI. Se ejecuta íntegramente en tu propio entorno. Si aún no tienes acceso a los paquetes, solicita una demo y te ayudaremos a empezar: escribe a nikita@befailproof.ai.Próximos pasos
- Conceptos: el vocabulario de FailproofAI Observability en un solo lugar.
- Observabilidad: sigue lo que hacen tus agentes, ejecución a ejecución.
- Seguridad: cómo FailproofAI Observability mantiene tus datos aislados y bajo tu control.