Il modello dei dati
Event L’unità più piccola di dati. Un event registra un singolo step che il tuo agente ha eseguito: untool_use, una model_request, un hook_completed, un error, e così via. Il tuo agente emette event attraverso Python SDK; vengono visualizzati in tempo reale nella pagina Events.
Session
Un’esecuzione dell’agente, identificata da un session_id. Una session è l’insieme di tutti gli event che condividono quell’id, riepilogati in una singola riga nella pagina Sessions e disegnati come grafo di esecuzione nella sua pagina di dettaglio. Una session solitamente inizia con agent_start e termina con agent_end.
Agent
Un attore nominato all’interno di un’esecuzione, identificato da un agent_id. Un’esecuzione può coinvolgere diversi agenti: ad esempio un planner che genera un sub-agente summarizer. I sub-agenti contengono un parent_id, che consente a Failproof AI Observability di disegnarli su corsie separate nel grafo di esecuzione.
Environment
Un’etichetta per il luogo dove l’esecuzione è avvenuta: production, staging, dev. La configuri una sola volta quando imposti l’SDK. Quasi tutte le pagine del dashboard possono filtrare per environment.
Context-window fill
La percentuale della finestra di contesto di un modello che una risposta ha consumato. Failproof AI Observability la registra negli event model_response per i modelli che riconosce, in modo che la crescita del prompt e la imminente compattazione siano visibili direttamente nel flusso degli event.
Qualità
Evaluation Un punteggio di qualità per una session completata, prodotto da un servizio di scoring che gestisci. Le evaluation sono opzionali: finché non colleghi un evaluator, le session vengono registrate ma non valutate. Ogni evaluation può contenere diversi punteggi denominati (ad esempiohelpfulness, factuality, tool_efficiency), ognuno con una breve nota di motivazione. Vedi Evaluation suite.
Score key
Il nome di una dimensione che un evaluator riporta, come helpfulness. Gli alert e gli audit possono monitorare uno score key specifico nel tempo.
Evaluator
Il tuo servizio di scoring. Failproof AI Observability effettua un POST della trascrizione di un’esecuzione completata e memorizza i punteggi che restituisce. Non fornisce un evaluator predefinito; la logica di scoring è tua.
Trovare e risolvere i guasti
Hook Un guardrail o effetto collaterale che il tuo framework di agenti esegue attorno a uno step: un controllo di sicurezza dei contenuti, redazione della PII, un budget guard. Gli hook emettono eventhook_triggered / hook_completed con un outcome (allow, deny, modify), e hanno una propria pagina di observe.
Alert rule
Una regola che si attiva quando una metrica supera una soglia che hai impostato: error rate, p95 latency, costo in token, o un punteggio di un evaluator. Quando una regola si attiva, apre un incident e notifica i tuoi canali scelti (email, Slack, webhook, in-dashboard). Vedi Alerts.
Incident
Una questione aperta creata quando un’alert rule si attiva. Gli incident hanno un ciclo di vita (acknowledge, assign, resolve) e una timeline di attività che registra ogni azione. Puoi anche aprirne uno manualmente.
Audit
Un’indagine ricorrente (oraria fino settimanale) che estrae dai tuoi log tra le session i pattern di guasto che non hai scritto una regola per: cluster di errori, punteggi bassi, outlier di latenza, loop di chiamate tool, ed esecuzioni che non sono mai terminate. Dove un alert monitora una metrica che già conosci, un audit ti dice cosa guardare dopo. Vedi Audits.
Finding
Un risultato classificato e supportato da prove ottenuto da un’esecuzione di audit. Un finding nomina un pattern, si collega alle exact session dietro di esso, e ha un ciclo di vita di triage (acknowledge, resolve, mute, dismiss). Failproof AI Observability deduplica i finding di esecuzione in esecuzione così un pattern noto si aggiorna invece di accumularsi.
The AI assistant
La chat in-dashboard che risponde a domande sui tuoi agenti in linguaggio naturale, sui tuoi dati. È read-only per impostazione predefinita; qualsiasi cosa creer (una query salvata, un dashboard) è soggetta a approvazione, e non potrà mai eliminare. Vedi AI assistant.
Eseguirlo
Organization (tenant) Uno spazio di lavoro isolato. Un’istanza di Failproof AI Observability può ospitare molte organizzazioni, ognuna con i propri utenti, chiavi e dati. Ogni URL del dashboard è scoped sotto il tuo slugname dell’org (/<org-slug>/…).
Collector
agenteye-collector, il daemon leggero che gira su ogni macchina con agenti, raggruppa gli event che l’SDK scrive su disco, e li spedisce al server.
API key
Un token scoped che autentica un client rispetto al server. Le chiavi portano permessi granulari (ad esempio events:add per il collector, scope read-only per una dashboard key). Vedi API keys.
Server
Il servizio di ingest e API. Ingerisce gli event, memorizza lo stato operativo nei tuoi database, e serve il dashboard e la CLI.
Dashboard
L’interfaccia web. Ogni pagina è scoped a un’organizzazione e legge attraverso l’API del server.
Prossimi step
- Overview: come questi pezzi si incastrano insieme.
- Observability: le superfici di observe (Events, Sessions, Models, Tools, Hooks, Errors).