Audit-Rezepte - Failproof AI

Verwende diese als Ausgangsziele und ergänze dann deinen Agenten, die Umgebung und den erwarteten Arbeitsablauf.

Dashboard
CLI

Gehe zu Analysieren → Audits → Neues Audit, kopiere ein Rezept in die Beschreibung oder den Auftrag und füge anschließend die relevante Umgebung, den Agenten, den Betrachtungszeitraum und Referenz-URLs hinzu. Erstelle das Audit und prüfe den ersten Durchlauf, bevor du es planmäßig einrichtest.Das Formular für ein neues Audit verwandelt ein Rezept in eine ausführbare Fehlerprüfung, indem es Umfang, Kontext, Zeitplan und Benachrichtigungen hinzufügt.

Das Formular für ein neues Audit, konfiguriert mit einem konkreten Ziel, Zeitplan, Agenten- und Umgebungsumfang, Kontext und Benachrichtigungskanälen.

Stelle nach der Erstellung sicher, dass das Audit in der Liste mit dem erwarteten Status und Zeitplan erscheint, bevor du dich auf wiederkehrende Durchläufe verlässt.

Die Audits-Seite, auf der ein workflow-spezifisches Audit-Rezept nach der Erstellung erscheint.

Öffne den ersten Durchlauf und verfeinere das Rezept, wenn seine Ergebnisse breiter oder enger als der beabsichtigte Fehlermodus sind.

Speichere ein Rezept als Textdatei und füge es bei der Erstellung hinzu:

fp audits create retry-loop-review \
  --scope '{"environments":["production"]}' \
  --text-file ./retry-loop-audit.txt \
  --schedule-interval-secs 86400

Wiederholte Wiederholungsschleifen

Finde Sitzungen, in denen der Agent denselben fehlschlagenden Tool-Aufruf wiederholt, ohne die Eingabe zu ändern, ein alternatives Tool auszuwählen oder an einen Menschen eskaliert zu werden.

Falsche Tool-Nutzung

Finde Sitzungen, in denen das gewählte Tool nicht zur angegebenen Aufgabe passt oder die Tool-Eingabe gegen die erforderlichen Vorbedingungen des Arbeitsablaufs verstößt.

Unsicherer Datenzugriff

Finde Sitzungen, die sensible Daten außerhalb der genehmigten Pfade und Dienste für diesen Agenten lesen, schreiben oder übertragen.

Aufgabenabbruch

Finde Sitzungen, die ohne das angeforderte Ergebnis, einen klaren Fehler oder eine ausdrückliche Übergabe an einen Menschen enden.

Kosten- oder Latenzregression

Finde Sitzungen, deren Modell-, Tool- oder Gesamtdauer das erwartete Budget überschreitet, und identifiziere das verantwortliche Ereignismuster.

Verpasste Eskalation an einen Menschen

Finde Sitzungen, in denen Unsicherheit, wiederholte Fehler oder Richtlinienvorgaben eine menschliche Entscheidung erforderten, der Agent jedoch autonom weitergemacht hat.