Ricette di audit - Failproof AI

Usa questi come obiettivi iniziali, quindi aggiungi il tuo agente, ambiente e flusso di lavoro previsto.

Dashboard
CLI

Vai a Analyze → Audits → New audit, copia una ricetta nella descrizione o nel sommario, quindi aggiungi l’ambiente rilevante, l’agente, il lookback e gli URL di riferimento. Crea l’audit e ispeziona la prima esecuzione prima di pianificarla.Il modulo di nuovo audit trasforma una ricetta in un controllo di errore eseguibile aggiungendo ambito, contesto, cadenza e notifiche.

Il modulo di nuovo audit configurato con un obiettivo focalizzato, pianificazione, ambito di agente e ambiente, contesto e canali di notifica.

Dopo la creazione, conferma che l’audit appaia nell’elenco con lo stato e la pianificazione previsti prima di fare affidamento sulle esecuzioni ricorrenti.

La pagina Audits dove una ricetta di audit specifica del flusso di lavoro appare dopo la creazione.

Apri la prima esecuzione e affina la ricetta se i suoi risultati sono più ampi o più ristretti rispetto alla modalità di errore prevista.

Salva una ricetta come file di testo e allegala durante la creazione:

fp audits create retry-loop-review \
  --scope '{"environments":["production"]}' \
  --text-file ./retry-loop-audit.txt \
  --schedule-interval-secs 86400

Loop di retry ripetuti

Trova sessioni in cui l’agente ripete la stessa chiamata di strumento non riuscita senza cambiare l’input, selezionare uno strumento alternativo o escalare a un umano.

Uso scorretto dello strumento

Trova sessioni in cui lo strumento scelto non corrisponde al compito dichiarato, o dove l’input dello strumento viola le precondizioni richieste dal flusso di lavoro.

Accesso non sicuro ai dati

Trova sessioni che leggono, scrivono o trasmettono dati sensibili al di fuori dei percorsi e servizi approvati per questo agente.

Abbandono del compito

Trova sessioni che terminano senza il risultato richiesto, un errore chiaro o un passaggio esplicito a un umano.

Regressione di costo o latenza

Trova sessioni il cui modello, strumento o durata totale supera il budget previsto, e identifica il modello di evento responsabile.

Escalation umana mancata

Trova sessioni in cui la confidenza, il fallimento ripetuto o la guida delle policy richiedevano una decisione umana ma l’agente ha continuato autonomamente.