Failproof AI Observability è un prodotto enterprise di Failproof AI. Vuoi vederlo in azione? Richiedi una demo: invia un’email a nikita@befailproof.ai.
Vedi in azione
Due brevi video mostrano le due cose che i team cercano per prime: tracciare un’esecuzione e trovare i malfunzionamenti automaticamente. Tracciamento dell’agente: segui un’esecuzione passo dopo passo, dal goal agli strumenti alla risposta finale. Failproof Audit: lascia che Failproof AI Observability analizzi i tuoi log tra le sessioni e ti dica cosa correggere.Perché i team lo usano
- Vedi cosa ha fatto realmente il tuo agente. Ogni esecuzione diventa un grafo di esecuzione leggibile in stile git: quali strumenti sono stati eseguiti in parallelo, quali sub-agenti si sono diramati, dove si è bloccato e cosa ha consumato.
- Rileva i cali di qualità automaticamente. Collega un piccolo servizio di scoring e Failproof AI Observability assegna un punteggio a ogni esecuzione completata, quindi un calo di utilità o un picco di allucinazioni emergono da soli.
- Trova i malfunzionamenti per cui non hai scritto una regola. I controlli ricorrenti analizzano i tuoi log tra le sessioni per cluster di errori, outlier di latenza, punteggi bassi ed esecuzioni bloccate, quindi ti forniscono risultati classificati e supportati da evidenze.
- Ricevi notifiche quando conta. Le regole di soglia si attivano su tasso di errore, latenza, costo o punteggi di valutazione e aprono incident che puoi riconoscere, assegnare e risolvere.
- Fai domande in linguaggio naturale. Un assistente AI incorporato nella dashboard risponde a “come sta andando la qualità in prod questa settimana?” sui tuoi dati. Qualsiasi modifica che effettua è sottoposta a approvazione.
- Mantieni i tuoi dati. Failproof AI Observability è self-hosted: eventi, prompt e analitiche rimangono nell’infrastruttura che controlli.
Cosa ottieni
Failproof AI Observability è organizzata attorno a tre concetti (osserva, analizza e amministra), rispecchiati nella barra laterale sinistra della dashboard. Osserva (la verità grezza di ciò che è accaduto):- Flusso di eventi: il trail live, passo dopo passo, di ogni esecuzione (chiamate a strumenti, chiamate a modelli, hook, errori).
- Sessioni: quegli eventi raggruppati in una riga per esecuzione, ognuna pronta per essere valutata, con un grafo di esecuzione in stile git.
- Metriche di performance: heat-map di latenza per superficie e vitals p50/p95/p99 per modelli, strumenti e hook, così uno spike della coda si distingue dalla mediana.
- Tracciamento degli errori: una superficie di triage per tutto ciò che è andato male, a un clic da un alert che si attiva.
- Query e dashboard: SQL salvate sui tuoi eventi e valutazioni, rappresentate in grafici su dashboard condivise e con scope dell’organizzazione.
- Valutazioni: punteggi di qualità prodotti dal tuo servizio di valutazione, con ragionamento per ogni punteggio.
- Controlli: investigazioni ricorrenti che evidenziano modelli di fallimento tra le sessioni.
- Avvisi e incident: regole di soglia che ti avvertono, più un flusso di lavoro incident per triarli.
- CLI: gestisci l’intera implementazione dal terminale o da uno script, e lascia che un agente di codifica lo faccia per te in linguaggio naturale.
- Assistente AI: fai domande sui tuoi agenti in linguaggio naturale, direttamente dentro la dashboard.
- API REST: tutto ciò che la dashboard e la CLI fanno è supportato da un’API REST che puoi chiamare direttamente con una chiave API con scope — inserisci eventi, query sessioni e valutazioni, e gestisci dashboard, avvisi, controlli, utenti e chiavi, così puoi integrare Failproof AI Observability nella tua tooling.
- Chiavi API: token con scope per il collector, la dashboard e l’assistente.
- Utenti: accesso senza password basato su email con una lista di autorizzati.
- Impostazioni: configurazione per organizzazione, inclusi override della finestra di contesto del modello.
Come si incastrano i pezzi
I dati fluiscono in una direzione, dal codice del tuo agente alla dashboard: il tuo agente (tramite l’SDK Python) emette eventi a agenteye-collector, che li invia al server, che serve la dashboard. Due servizi opzionali completano il quadro — un servizio di scoring (valutazioni) e un servizio assistente AI (la chat incorporata nella dashboard).- Python SDK: aggiungi alcune chiamate
agenteye.event.*al tuo agente; gli eventi vengono memorizzati localmente nel buffer. - agenteye-collector: un daemon leggero su ogni macchina agente che raggruppa gli eventi e li invia al server.
- Server: acquisisce i tuoi eventi, mantiene lo stato operativo nei tuoi database e serve l’API REST che la dashboard, la CLI e i tuoi integrazioni usano tutti.
- Dashboard: dove esplori tutto.
- Servizi opzionali: un servizio di scoring (valutazioni) e un servizio assistente AI (la chat incorporata nella dashboard).
Ottenere Failproof AI Observability
Failproof AI Observability è un prodotto enterprise di Failproof AI e funziona insieme a Failproof AI Enforcement — il prodotto di policy e guardrail — sotto il brand Failproof AI. Viene eseguito interamente nel tuo ambiente. Se non hai ancora accesso ai pacchetti, richiedi una demo e ti aiuteremo a iniziare: invia un’email a nikita@befailproof.ai.Passaggi successivi
- Concetti: il vocabolario di Failproof AI Observability tutto in un posto.
- Osservabilità: segui ciò che fanno i tuoi agenti, esecuzione dopo esecuzione.
- Sicurezza: come Failproof AI Observability mantiene i tuoi dati isolati e sotto il tuo controllo.