Failproof AI Observability est un produit entreprise de Failproof AI. Vous voulez le voir en action ? Demandez une démo : écrivez à nikita@befailproof.ai.
Voir en action
Deux courtes vidéos illustrent les deux choses que les équipes recherchent en premier : tracer une exécution, et détecter automatiquement les défaillances. Traçage d’agent : suivez une exécution pas à pas, de l’objectif aux outils jusqu’à la réponse finale. Failproof Audit : laissez Failproof AI Observability analyser vos logs sur l’ensemble des sessions et vous indiquer ce qu’il faut corriger.Pourquoi les équipes l’utilisent
- Voyez ce que votre agent a réellement fait. Chaque exécution devient un graphe d’exécution lisible à la git : quels outils ont fonctionné en parallèle, quels sous-agents ont divergé, où l’exécution s’est bloquée, et ce qu’elle a consommé.
- Détectez automatiquement les régressions de qualité. Connectez un petit service de notation et Failproof AI Observability note chaque exécution terminée — une baisse d’utilité ou une hausse des hallucinations apparaît d’elle-même.
- Trouvez les défaillances pour lesquelles vous n’avez écrit aucune règle. Des audits récurrents analysent vos logs sur l’ensemble des sessions pour repérer des clusters d’erreurs, des valeurs aberrantes de latence, des scores faibles et des exécutions bloquées, puis vous remettent des résultats classés et étayés par des preuves.
- Soyez alerté quand ça compte vraiment. Des règles de seuil se déclenchent sur le taux d’erreur, la latence, le coût ou les scores d’évaluation, et ouvrent des incidents que vous pouvez prendre en charge, assigner et résoudre.
- Posez des questions en langage naturel. Un assistant IA intégré au tableau de bord répond à des questions comme « comment évolue la qualité en production cette semaine ? » en s’appuyant sur vos propres données. Toute modification qu’il propose est soumise à validation.
- Gardez la maîtrise de vos données. Failproof AI Observability est auto-hébergé : les événements, les prompts et les analyses restent dans une infrastructure que vous contrôlez.
Ce que vous obtenez
Failproof AI Observability s’articule autour de trois idées (observer, analyser et administrer), reflétées dans la barre latérale gauche du tableau de bord. Observer (la réalité brute de ce qui s’est passé) :- Flux d’événements : la trace en direct, étape par étape, de chaque exécution (appels d’outils, appels de modèles, hooks, erreurs).
- Sessions : ces événements regroupés en une ligne par exécution, chacune prête à être notée, avec un graphe d’exécution à la git.
- Métriques de performance : cartes thermiques de latence par surface et indicateurs p50/p95/p99 pour les modèles, outils et hooks, pour qu’une valeur aberrante en queue de distribution ressorte clairement par rapport à la médiane.
- Suivi des erreurs : une surface de triage unique pour tout ce qui a dysfonctionné, à un clic d’une alerte déclenchée.
- Requêtes et tableaux de bord : du SQL sauvegardé sur vos événements et évaluations, représenté sous forme de graphiques dans des tableaux de bord partagés à l’échelle de l’organisation.
- Évaluations : scores de qualité produits par votre propre service d’évaluation, avec le raisonnement associé à chaque score.
- Audits : investigations récurrentes qui font remonter les patterns de défaillance sur l’ensemble des sessions.
- Alertes et incidents : règles de seuil qui vous notifient, accompagnées d’un workflow d’incidents pour les trier.
- CLI : pilotez l’ensemble de votre déploiement depuis le terminal ou un script, et laissez un agent de développement le faire pour vous en langage naturel.
- Assistant IA : posez des questions sur vos agents en langage naturel, directement depuis le tableau de bord.
- API REST : tout ce que font le tableau de bord et la CLI est soutenu par une API REST que vous pouvez appeler directement avec une clé API à portée limitée — ingérer des événements, interroger des sessions et des évaluations, et gérer des tableaux de bord, alertes, audits, utilisateurs et clés, pour intégrer Failproof AI Observability dans vos propres outils.
- Clés API : tokens à portée limitée pour le collecteur, le tableau de bord et l’assistant.
- Utilisateurs : connexion sans mot de passe, par e-mail avec liste d’autorisation.
- Paramètres : configuration par organisation, y compris les surcharges de fenêtre de contexte des modèles.
Comment les pièces s’articulent
Les données circulent dans un seul sens, de votre code d’agent vers le tableau de bord : votre agent (via le SDK Python) émet des événements vers l’agenteye-collector, qui les achemine vers le serveur, lequel sert le tableau de bord. Deux services optionnels complètent l’ensemble — un service de notation (évaluations) et un service d’assistant IA (le chat intégré au tableau de bord).- SDK Python : vous ajoutez quelques appels
agenteye.event.*à votre agent ; les événements sont mis en mémoire tampon localement. - agenteye-collector : un démon léger sur chaque machine agent qui regroupe les événements en lots et les envoie au serveur.
- Serveur : ingère vos événements, maintient l’état opérationnel dans vos propres bases de données, et expose l’API REST utilisée par le tableau de bord, la CLI et vos propres intégrations.
- Tableau de bord : l’endroit où vous explorez tout.
- Services optionnels : un service de notation (évaluations) et un service d’assistant IA (le chat intégré au tableau de bord).
Obtenir Failproof AI Observability
Failproof AI Observability est un produit entreprise de Failproof AI, et fonctionne en complément de Failproof AI Enforcement — le produit de politiques et de garde-fous — sous la marque Failproof AI. Il fonctionne entièrement dans votre propre environnement. Si vous n’avez pas encore accès aux packages, demandez une démo et nous vous aiderons à démarrer : écrivez à nikita@befailproof.ai.Prochaines étapes
- Concepts : le vocabulaire de Failproof AI Observability en un seul endroit.
- Observabilité : suivez ce que font vos agents, exécution par exécution.
- Sécurité : comment Failproof AI Observability maintient vos données isolées et sous votre contrôle.