FailproofAI Observability è un prodotto enterprise di FailproofAI. Vuoi vederlo in azione? Richiedi una demo: invia un’email a nikita@befailproof.ai.
Vedi in azione
Due brevi video mostrano le due cose che i team cercano per primo: tracciare un’esecuzione e trovare automaticamente i guasti. Tracciamento dell’agente: segui un’esecuzione passo dopo passo, dall’obiettivo agli strumenti alla risposta finale. Failproof Audit: lascia che FailproofAI Observability esamini i tuoi log tra le sessioni e ti dica cosa correggere.Perché i team lo usano
- Vedi cosa ha effettivamente fatto il tuo agente. Ogni esecuzione diventa un grafico di esecuzione leggibile in stile git: quali strumenti sono stati eseguiti in parallelo, quali sub-agenti si sono diramati, dove si è bloccato e quanto ha speso.
- Cattura i cali di qualità automaticamente. Connetti un piccolo servizio di valutazione e FailproofAI Observability valuta ogni esecuzione completata, così un calo di utilità o un picco di allucinazioni si manifesta da solo.
- Trova i guasti per cui non hai scritto una regola. I controlli ricorrenti esaminano i tuoi log tra le sessioni alla ricerca di cluster di errori, anomalie di latenza, punteggi bassi ed esecuzioni bloccate, quindi ti consegnano risultati classificati e supportati da prove.
- Ricevi notifiche quando è importante. Le regole di soglia si attivano su tasso di errore, latenza, costo o punteggi di valutazione e aprono incidenti che puoi riconoscere, assegnare e risolvere.
- Fai domande in inglese semplice. Un assistente AI nel dashboard risponde a domande come “come sta andando la qualità in produzione questa settimana?” sui tuoi dati. Qualsiasi modifica che effettua è soggetta ad approvazione.
- Mantieni i tuoi dati. FailproofAI Observability è self-hosted: eventi, prompt e analitiche rimangono nell’infrastruttura che controlli.
Cosa ottieni
FailproofAI Observability è organizzato intorno a tre idee (observe, analyze e admin), rispecchiate nella barra laterale sinistra del dashboard. Observe (la verità grezza di ciò che è accaduto):- Event stream: il percorso live e per-step di ogni esecuzione (chiamate a strumenti, chiamate a modelli, hook, errori).
- Sessions: quegli eventi raggruppati in una riga per esecuzione, ognuno pronto per essere valutato, con un grafico di esecuzione in stile git.
- Performance metrics: mappe di calore della latenza per superficie e vitali p50/p95/p99 per modelli, strumenti e hook, così un picco di coda si distingue dalla mediana.
- Error tracking: una superficie di triage per tutto ciò che è andato male, a un clic da un avviso attivato.
- Queries e dashboards: SQL salvati sui tuoi eventi e valutazioni, rappresentati in grafici nei dashboard condivisi e con scope organizzativo.
- Evaluations: punteggi di qualità prodotti dal tuo servizio di valutazione, con ragionamento per ogni punteggio.
- Audits: indagini ricorrenti che mettono in evidenza i modelli di guasto tra le sessioni.
- Alerts e incidents: regole di soglia che ti notificano, più un flusso di lavoro per gli incidenti per classificarli.
- CLI: guida l’intera distribuzione dal terminale o da uno script, e lascia che un agente di codifica lo faccia per te in inglese semplice.
- AI assistant: fai domande sui tuoi agenti in inglese semplice, direttamente dentro il dashboard.
- API keys: token con scope per il collector, il dashboard e l’assistente.
- Users: accesso basato su email senza password con una lista consentita.
- Settings: configurazione per ogni organizzazione, inclusi gli override della finestra di contesto del modello.
Come i componenti si incastrano
I dati fluiscono in una direzione, dal codice del tuo agente al dashboard: il tuo agente (tramite Python SDK) emette eventi a agenteye-collector, che li invia al server, che serve il dashboard. Due servizi facoltativi lo completano — un servizio di valutazione (evaluations) e un servizio di assistente AI (la chat nel dashboard).- Python SDK: aggiungi alcune chiamate
agenteye.event.*al tuo agente; gli eventi vengono memorizzati nel buffer localmente. - agenteye-collector: un daemon leggero su ogni macchina agente che raggruppa gli eventi e li invia al server.
- Server: acquisisce i tuoi eventi e mantiene lo stato operativo nei tuoi database.
- Dashboard: dove esplori tutto.
- Optional services: un servizio di valutazione (evaluations) e un servizio di assistente AI (la chat nel dashboard).
Ottenere FailproofAI Observability
FailproofAI Observability è un prodotto enterprise di FailproofAI e funziona insieme a FailproofAI Enforcement — il prodotto di policy e guardrail — sotto il marchio FailproofAI. Viene eseguito interamente nel tuo ambiente. Se non hai ancora accesso ai pacchetti, richiedi una demo e ti faremo partire: invia un’email a nikita@befailproof.ai.Passaggi successivi
- Concepts: il vocabolario di FailproofAI Observability in un unico posto.
- Observability: segui ciò che i tuoi agenti fanno, esecuzione per esecuzione.
- Security: come FailproofAI Observability mantiene i tuoi dati isolati e sotto il tuo controllo.