Failproof AI Observability ist ein Enterprise-Produkt von Failproof AI. Sie möchten es in Aktion sehen? Fordern Sie eine Demo an: E-Mail an nikita@befailproof.ai.
In Aktion erleben
Zwei kurze Videos zeigen die zwei Dinge, die Teams zuerst nutzen: einen Durchlauf nachverfolgen und Fehler automatisch erkennen. Agenten-Tracing: Verfolgen Sie einen einzelnen Durchlauf Schritt für Schritt, vom Ziel über die Tools bis zur endgültigen Antwort. Failproof Audit: Lassen Sie Failproof AI Observability Ihre Logs sitzungsübergreifend durchsuchen und erfahren Sie, was behoben werden muss.Warum Teams es nutzen
- Sehen Sie, was Ihr Agent wirklich getan hat. Jeder Durchlauf wird zu einem lesbaren, git-ähnlichen Ausführungsgraphen: welche Tools parallel liefen, welche Unteragenten abgezweigt wurden, wo es ins Stocken geriet und was es gekostet hat.
- Qualitätsrückgänge automatisch erkennen. Verbinden Sie einen kleinen Scoring-Dienst, und Failproof AI Observability bewertet jeden abgeschlossenen Durchlauf – sodass ein Rückgang der Hilfsbereitschaft oder ein Anstieg von Halluzinationen von selbst sichtbar wird.
- Fehler finden, für die Sie keine Regel geschrieben haben. Regelmäßige Audits durchsuchen Ihre Logs sitzungsübergreifend nach Fehlerclustern, Latenz-Ausreißern, niedrigen Bewertungen und hängenden Durchläufen und liefern Ihnen priorisierte, evidenzbasierte Erkenntnisse.
- Benachrichtigt werden, wenn es darauf ankommt. Schwellenwertregeln reagieren auf Fehlerrate, Latenz, Kosten oder Evaluator-Scores und eröffnen Incidents, die Sie bestätigen, zuweisen und lösen können.
- Fragen in natürlicher Sprache stellen. Ein KI-Assistent im Dashboard beantwortet Fragen wie „Wie entwickelt sich die Qualität in der Produktion diese Woche?” – auf Basis Ihrer eigenen Daten. Jede Änderung, die er vornimmt, ist genehmigungspflichtig.
- Ihre Daten behalten. Failproof AI Observability ist selbst gehostet: Ereignisse, Prompts und Analysen bleiben in der von Ihnen kontrollierten Infrastruktur.
Was Sie erhalten
Failproof AI Observability ist um drei Ideen herum organisiert (Beobachten, Analysieren und Verwalten), die in der linken Seitenleiste des Dashboards gespiegelt werden. Beobachten (die unverfälschte Wahrheit dessen, was passiert ist):- Ereignis-Stream: die Live-Aufzeichnung jedes einzelnen Schritts jedes Durchlaufs (Tool-Aufrufe, Modellaufrufe, Hooks, Fehler).
- Sitzungen: diese Ereignisse zusammengefasst zu einer Zeile pro Durchlauf, jeweils bereit zur Bewertung, mit einem git-ähnlichen Ausführungsgraphen.
- Performance-Metriken: Latenz-Heatmaps pro Oberfläche und p50/p95/p99-Werte für Modelle, Tools und Hooks, damit ein Ausreißer im langen Ende sofort auffällt.
- Fehlerverfolgung: eine einzige Triage-Oberfläche für alles, was schiefgelaufen ist, einen Klick von einem ausgelösten Alert entfernt.
- Abfragen und Dashboards: gespeichertes SQL über Ihre Ereignisse und Evaluierungen, als geteilte, organisationsweite Dashboards visualisiert.
- Evaluierungen: Qualitätsbewertungen, die von Ihrem eigenen Evaluator-Dienst erstellt werden, mit Begründung pro Bewertung.
- Audits: wiederkehrende Untersuchungen, die Fehlermuster sitzungsübergreifend aufdecken.
- Alerts und Incidents: Schwellenwertregeln, die Sie benachrichtigen, sowie ein Incident-Workflow zur Triage.
- CLI: Steuern Sie Ihre gesamte Deployment vom Terminal oder einem Skript aus, und lassen Sie einen Coding-Agenten dies für Sie in natürlicher Sprache erledigen.
- KI-Assistent: Stellen Sie Fragen zu Ihren Agenten in natürlicher Sprache, direkt im Dashboard.
- REST API: Alles, was Dashboard und CLI tun, wird durch eine REST API unterstützt, die Sie direkt mit einem bereichsbegrenzten API-Schlüssel aufrufen können – Ereignisse erfassen, Sitzungen und Evaluierungen abfragen sowie Dashboards, Alerts, Audits, Benutzer und Schlüssel verwalten, sodass Sie Failproof AI Observability in Ihr eigenes Tooling integrieren können.
- API-Schlüssel: bereichsbegrenzte Token für den Collector, das Dashboard und den Assistenten.
- Benutzer: passwortlose, E-Mail-basierte Anmeldung mit einer Zulassungsliste.
- Einstellungen: organisationsweite Konfiguration, einschließlich Modell-Kontextfenster-Überschreibungen.
Wie die Teile zusammenpassen
Daten fließen in eine Richtung, von Ihrem Agenten-Code zum Dashboard: Ihr Agent sendet (über das Python-SDK) Ereignisse an den agenteye-collector, der sie an den Server weiterleitet, der das Dashboard bedient. Zwei optionale Dienste ergänzen das Ganze – ein Scoring-Dienst (Evaluierungen) und ein KI-Assistenten-Dienst (der In-Dashboard-Chat).- Python SDK: Sie fügen Ihrem Agenten einige
agenteye.event.*-Aufrufe hinzu; Ereignisse werden lokal gepuffert. - agenteye-collector: ein schlanker Daemon auf jeder Agenten-Maschine, der Ereignisse bündelt und an den Server sendet.
- Server: nimmt Ihre Ereignisse entgegen, verwaltet den Betriebszustand in Ihren eigenen Datenbanken und stellt die REST API bereit, die das Dashboard, die CLI und Ihre eigenen Integrationen verwenden.
- Dashboard: wo Sie alles erkunden.
- Optionale Dienste: ein Scoring-Dienst (Evaluierungen) und ein KI-Assistenten-Dienst (der In-Dashboard-Chat).
Failproof AI Observability erhalten
Failproof AI Observability ist ein Enterprise-Produkt von Failproof AI und funktioniert zusammen mit Failproof AI Enforcement – dem Richtlinien- und Guardrail-Produkt – unter der Failproof AI-Marke. Es läuft vollständig in Ihrer eigenen Umgebung. Wenn Sie noch keinen Zugang zu den Paketen haben, fordern Sie eine Demo an, und wir richten alles für Sie ein: E-Mail an nikita@befailproof.ai.Nächste Schritte
- Konzepte: das Failproof AI Observability-Vokabular an einem Ort.
- Observability: Verfolgen Sie, was Ihre Agenten tun, Durchlauf für Durchlauf.
- Sicherheit: Wie Failproof AI Observability Ihre Daten isoliert und unter Ihrer Kontrolle hält.