FailproofAI Observability ist ein Enterprise-Produkt von FailproofAI. Möchten Sie es in Aktion sehen? Fordern Sie eine Demo an: E-Mail an nikita@befailproof.ai.
In Aktion erleben
Zwei kurze Videos zeigen die beiden Dinge, die Teams zuerst einsetzen: einen Durchlauf nachverfolgen und Fehler automatisch finden. Agent-Tracing: Verfolgen Sie einen einzelnen Durchlauf Schritt für Schritt – vom Ziel über die Tools bis zur endgültigen Antwort. Failproof Audit: FailproofAI Observability durchsucht Ihre Logs sitzungsübergreifend und zeigt Ihnen, was behoben werden muss.Warum Teams es nutzen
- Sehen Sie, was Ihr Agent tatsächlich getan hat. Jeder Durchlauf wird zu einem lesbaren, Git-ähnlichen Ausführungsgraph: welche Tools parallel liefen, welche Sub-Agenten abgezweigt wurden, wo es stockte und was es gekostet hat.
- Qualitätsregressionen automatisch erkennen. Verbinden Sie einen kleinen Scoring-Service, und FailproofAI Observability bewertet jeden abgeschlossenen Durchlauf – ein Rückgang der Hilfsbereitschaft oder eine Zunahme von Halluzinationen fällt so von selbst auf.
- Fehler finden, für die Sie keine Regel geschrieben haben. Wiederkehrende Audits durchsuchen Ihre Logs sitzungsübergreifend nach Fehler-Clustern, Latenz-Ausreißern, niedrigen Scores und feststeckenden Durchläufen – und liefern Ihnen priorisierte, beleggestützte Befunde.
- Benachrichtigt werden, wenn es darauf ankommt. Schwellenwert-Regeln lösen bei Fehlerrate, Latenz, Kosten oder Evaluator-Scores aus und erstellen Incidents, die Sie bestätigen, zuweisen und schließen können.
- Fragen in einfachem Deutsch stellen. Ein KI-Assistent im Dashboard beantwortet Fragen wie „Wie entwickelt sich die Qualität in dieser Woche in der Produktion?” – auf Basis Ihrer eigenen Daten. Jede Änderung, die er vorschlägt, muss erst freigegeben werden.
- Ihre Daten bleiben bei Ihnen. FailproofAI Observability ist selbst gehostet: Ereignisse, Prompts und Analysen verbleiben in der Infrastruktur, die Sie kontrollieren.
Was Sie erhalten
FailproofAI Observability ist um drei Ideen herum aufgebaut (beobachten, analysieren und verwalten), die sich in der linken Seitenleiste des Dashboards widerspiegeln. Observe (die unverfälschte Wahrheit dessen, was passiert ist):- Event stream: der Live-Schritt-für-Schritt-Verlauf jedes Durchlaufs (Tool-Aufrufe, Modell-Aufrufe, Hooks, Fehler).
- Sessions: diese Ereignisse zu je einer Zeile pro Durchlauf zusammengefasst, jede bereit zur Bewertung, mit Git-ähnlichem Ausführungsgraph.
- Performance metrics: Latenz-Heatmaps und p50/p95/p99-Kennzahlen pro Oberfläche für Modelle, Tools und Hooks – damit ein Tail-Spike gegenüber dem Median sofort auffällt.
- Error tracking: eine einheitliche Triage-Oberfläche für alles, was schiefgelaufen ist, einen Klick von einem aktiven Alert entfernt.
- Queries und dashboards: gespeichertes SQL über Ihre Ereignisse und Evaluierungen, in gemeinsam genutzten, organisationsweiten Dashboards visualisiert.
- Evaluations: Qualitäts-Scores, die von Ihrem eigenen Evaluator-Service erzeugt werden, mit Begründung je Score.
- Audits: wiederkehrende Untersuchungen, die sitzungsübergreifend Fehlermuster aufdecken.
- Alerts und incidents: Schwellenwert-Regeln, die Sie benachrichtigen, plus ein Incident-Workflow zur Triage.
- CLI: steuern Sie Ihr gesamtes Deployment vom Terminal oder einem Skript aus, und lassen Sie einen Coding-Agenten es für Sie in einfacher Sprache erledigen.
- AI assistant: stellen Sie Fragen zu Ihren Agenten in einfacher Sprache, direkt im Dashboard.
- API keys: bereichsspezifische Tokens für den Collector, das Dashboard und den Assistenten.
- Users: passwortlose, E-Mail-basierte Anmeldung mit einer Zulassungsliste.
- Settings: organisationsweite Konfiguration, einschließlich Overrides für das Modell-Kontextfenster.
Wie die Komponenten zusammenspielen
Daten fließen in eine Richtung – von Ihrem Agenten-Code zum Dashboard: Ihr Agent sendet (über das Python SDK) Ereignisse an den agenteye-collector, der sie an den Server schickt, der wiederum das Dashboard ausliefert. Zwei optionale Services ergänzen das Ganze – ein Scoring-Service (Evaluierungen) und ein KI-Assistenten-Service (der Chat im Dashboard).- Python SDK: Sie fügen einige
agenteye.event.*-Aufrufe zu Ihrem Agenten hinzu; Ereignisse werden lokal gepuffert. - agenteye-collector: ein schlanker Daemon auf jedem Agenten-Rechner, der Ereignisse bündelt und an den Server sendet.
- Server: nimmt Ihre Ereignisse entgegen und hält den Betriebszustand in Ihren eigenen Datenbanken vor.
- Dashboard: hier erkunden Sie alles.
- Optionale Services: ein Scoring-Service (Evaluierungen) und ein KI-Assistenten-Service (der Chat im Dashboard).
FailproofAI Observability erhalten
FailproofAI Observability ist ein Enterprise-Produkt von FailproofAI und ergänzt FailproofAI Enforcement – das Produkt für Richtlinien und Leitplanken – unter der FailproofAI-Marke. Es läuft vollständig in Ihrer eigenen Umgebung. Wenn Sie noch keinen Zugang zu den Paketen haben, fordern Sie eine Demo an, und wir richten alles für Sie ein: E-Mail an nikita@befailproof.ai.Nächste Schritte
- Concepts: das FailproofAI Observability-Vokabular auf einen Blick.
- Observability: verfolgen Sie, was Ihre Agenten tun – Durchlauf für Durchlauf.
- Security: wie FailproofAI Observability Ihre Daten isoliert und unter Ihrer Kontrolle hält.