FailproofAI Observability est un produit entreprise de FailproofAI. Vous souhaitez le voir en action ? Demandez une démo : écrivez à nikita@befailproof.ai.
Le voir en action
Deux courtes vidéos illustrent les deux fonctionnalités que les équipes utilisent en premier : le traçage d’une exécution, et la détection automatique des défaillances. Traçage d’agent : suivez une exécution étape par étape, de l’objectif aux outils jusqu’à la réponse finale. Failproof Audit : laissez FailproofAI Observability analyser vos logs sur l’ensemble des sessions et vous indiquer ce qu’il faut corriger.Pourquoi les équipes l’utilisent
- Voyez ce que votre agent a réellement fait. Chaque exécution devient un graphe d’exécution lisible façon git : quels outils ont tourné en parallèle, quels sous-agents ont bifurqué, où ça s’est bloqué, et ce que ça a coûté.
- Détectez automatiquement les régressions de qualité. Connectez un petit service de notation et FailproofAI Observability évalue chaque exécution terminée — une baisse de pertinence ou une hausse des hallucinations apparaît d’elle-même.
- Trouvez les défaillances pour lesquelles vous n’avez pas écrit de règle. Des audits récurrents analysent vos logs sur l’ensemble des sessions pour repérer des clusters d’erreurs, des valeurs aberrantes de latence, des scores faibles et des exécutions bloquées, puis vous remettent des constats classés par priorité, appuyés sur des preuves.
- Soyez alerté quand ça compte vraiment. Des règles de seuil se déclenchent sur le taux d’erreurs, la latence, le coût ou les scores d’évaluation, et ouvrent des incidents que vous pouvez accuser réception, assigner et résoudre.
- Posez vos questions en français. Un assistant IA intégré au tableau de bord répond à des questions comme « comment évolue la qualité en prod cette semaine ? » en s’appuyant sur vos propres données. Tout changement qu’il effectue est soumis à validation.
- Gardez la main sur vos données. FailproofAI Observability est auto-hébergé : les événements, les prompts et les analyses restent dans une infrastructure que vous contrôlez.
Ce que vous obtenez
FailproofAI Observability s’articule autour de trois idées (observer, analyser et administrer), reflétées dans la barre latérale gauche du tableau de bord. Observer (la vérité brute de ce qui s’est passé) :- Flux d’événements : la trace en temps réel, étape par étape, de chaque exécution (appels d’outils, appels de modèles, hooks, erreurs).
- Sessions : ces événements agrégés en une ligne par exécution, chacune prête à être évaluée, avec un graphe d’exécution façon git.
- Métriques de performance : cartes de chaleur de latence par surface et indicateurs p50/p95/p99 pour les modèles, outils et hooks, pour que les pics de queue se distinguent de la médiane.
- Suivi des erreurs : une surface de triage unique pour tout ce qui a mal tourné, à un clic d’une alerte déclenchée.
- Requêtes et tableaux de bord : SQL sauvegardé sur vos événements et évaluations, visualisé dans des tableaux de bord partagés à l’échelle de l’organisation.
- Évaluations : scores de qualité produits par votre propre service d’évaluation, avec le raisonnement associé à chaque score.
- Audits : investigations récurrentes qui font remonter les patterns de défaillance entre sessions.
- Alertes et incidents : règles de seuil qui vous alertent, plus un workflow d’incidents pour les trier.
- CLI : pilotez l’intégralité de votre déploiement depuis le terminal ou un script, et laissez un agent de codage le faire pour vous en langage naturel.
- Assistant IA : posez des questions sur vos agents en langage naturel, directement dans le tableau de bord.
- Clés API : tokens à portée limitée pour le collecteur, le tableau de bord et l’assistant.
- Utilisateurs : connexion sans mot de passe, par e-mail, avec liste d’autorisation.
- Paramètres : configuration par organisation, y compris les surcharges de fenêtre de contexte des modèles.
Comment les pièces s’articulent
Les données circulent dans une seule direction, de votre code d’agent vers le tableau de bord : votre agent (via le SDK Python) émet des événements vers l’agenteye-collector, qui les achemine vers le serveur, lequel alimente le tableau de bord. Deux services optionnels complètent l’ensemble — un service de notation (évaluations) et un service d’assistant IA (le chat intégré au tableau de bord).- SDK Python : vous ajoutez quelques appels
agenteye.event.*à votre agent ; les événements sont mis en mémoire tampon localement. - agenteye-collector : un démon léger sur chaque machine d’agent qui regroupe les événements et les envoie au serveur.
- Serveur : ingère vos événements et maintient l’état opérationnel dans vos propres bases de données.
- Tableau de bord : l’endroit où vous explorez tout.
- Services optionnels : un service de notation (évaluations), et un service d’assistant IA (le chat intégré au tableau de bord).
Obtenir FailproofAI Observability
FailproofAI Observability est un produit entreprise de FailproofAI, et il fonctionne aux côtés de FailproofAI Enforcement — le produit de politiques et garde-fous — sous la marque FailproofAI. Il s’exécute entièrement dans votre propre environnement. Si vous n’avez pas encore accès aux packages, demandez une démo et nous vous aiderons à démarrer : écrivez à nikita@befailproof.ai.Prochaines étapes
- Concepts : le vocabulaire de FailproofAI Observability en un seul endroit.
- Observabilité : suivez ce que font vos agents, exécution par exécution.
- Sécurité : comment FailproofAI Observability maintient vos données isolées et sous votre contrôle.