Skip to main content

​
title: गत सत्रों का ऑडिट (beta) description: “पिछले ट्रांसक्रिप्ट्स में एजेंट द्वारा कितनी बार अपव्यय या जोखिम भरे काम किए गए, इसकी गणना करें”

बीटा फीचर। ऑडिट बीटा के रूप में भेजा जा रहा है जबकि हम प्रारंभिक फीडबैक एकत्र कर रहे हैं। डिटेक्टर कैटलॉग और रिपोर्ट फॉर्मेट अगले स्थिर संस्करण से पहले बदल सकते हैं। यदि कुछ गलत लगे तो कृपया एक issue खोलें।
ऑडिट आपके पिछले एजेंट-CLI ट्रांसक्रिप्ट्स को failproofai की policy इंजन के माध्यम से फिर से चलाता है और /audit डैशबोर्ड पेज पर एक साझा करने योग्य, विजुअल रिपोर्ट प्रस्तुत करता है — आपके एजेंट की आर्केटाइप, एक 0–100 स्कोर, और बिल्कुल यह कि कौन-सी policies क्या पकड़ी होती।

​
इसे चलाएं

तीन तरीके हैं — सभी एक ही /audit रिपोर्ट पर पहुंचते हैं।

कोई इंस्टॉल नहीं

npx -y failproofai audit failproofai को फेच करता है, स्कैन चलाता है, और आपके लिए डैशबोर्ड खोलता है — पहले कुछ इंस्टॉल करने की जरूरत नहीं।

CLI से

failproofai audit आपके टर्मिनल में स्कैन चलाता है, फिर समाप्त होने पर localhost:8020/audit को स्वचालित रूप से खोलता है।

डैशबोर्ड से

failproofai चलाएं और navbar में Audit पर क्लिक करें (Policies और Projects के बीच), या सीधे /audit खोलें।
उपयोग देखने के लिए failproofai audit -h (या --help) चलाएं। मुख्य ऑडिट स्कैन और रिपोर्ट जनरेशन पूरी तरह ऑफलाइन चलते हैं — कोई खाता या नेटवर्क आवश्यक नहीं। वैकल्पिक प्रमाणित खाता सुविधाओं के लिए नेटवर्क की आवश्यकता होती है। डैशबोर्ड तब तक सेवा देता रहता है जब तक आप इसे Ctrl+C से रोक न दें।
डैशबोर्ड इस मशीन पर पिछले एजेंट CLI ट्रांसक्रिप्ट्स को स्कैन करता है (Claude Code, Codex, Copilot, Cursor, OpenCode, Pi) और रिपोर्ट करता है कि एजेंट ने कितनी बार ऐसी चीजें कीं जिन्हें रोकने के लिए failproofai बनाया गया है — env-var चेक, force push, अनावश्यक cd <cwd> प्रिफिक्स, sleep-polling लूप, अभी-अभी edited फाइलें दोबारा पढ़ना, और अन्य। प्रत्येक ट्रांसक्रिप्ट के लिए, हर tool-use इवेंट 39 builtin policies के माध्यम से और 8 audit-only डिटेक्टर्स के माध्यम से फिर से चलाया जाता है जो ऐसे पैटर्न को पकड़ते हैं जो अभी तक runtime policies द्वारा कवर नहीं हैं। गिनती सभी सत्रों में प्रति policy/डिटेक्टर एकत्र की जाती है।

​
आप क्या पाते हैं

/audit पेज एक एकल-स्क्रीन, साझा करने योग्य पोस्टर है जिसके बाद चार नीचे-फोल्ड अनुभाग हैं:
  1. पोस्टर — एक नजर में आपके एजेंट की पहचान: इसकी archetype (8 में से एक — optimist, cowboy, explorer, goldfish, paranoid architect, precision builder, hammer, ghost), इसके persona keywords, वह archetype कितनी दुर्लभ है, और एक 0–100 स्कोर with a tier band (S से bottom tier)। साझा करने के लिए बनाया गया — X या LinkedIn पर पोस्ट करें, या इसे PNG के रूप में डाउनलोड करें।
  2. // strengths — स्कैन से वास्तविक संख्याओं के रूप में आपका एजेंट पहले से क्या अच्छा करता है (जैसे clean-tool-call %, 0 push-to-main प्रयास), केवल तब दिखाया जाता है जब संबंधित policy का स्वच्छ रिकॉर्ड हो।
  3. // quirks — जो फिसल गया: failproofai के पकड़े गए व्यवहारों की एक ranked तालिका — यह कब अंतिम बार हुआ, क्या फिसल गया (और जो builtin इसे ब्लॉक कर देता), इसकी severity, और यह कितनी बार देखा गया (new / recurring / N× seen)।
  4. // how to improve — निर्धारित फिक्स सूची: प्रति policy एक पंक्ति copy-paste failproofai policy add <slug> के साथ, प्लस एक install all बटन जो हर recommendation को एक ही समय में सक्षम करता है और आपका projected score दिखाता है यदि आप करें।
  5. // come back better — आदत बनाएं: एक re-audit ईमेल reminder सेट करें (3d / 7d / 14d / 30d) या अभी फिर से ऑडिट करें, और एक मित्र को आमंत्रित करें अपना स्वयं का ऑडिट चलाने के लिए (failproof.ai से भेजा जाता है, आपको Cc किया जाता है)। Reminders और invites को साइन-इन की आवश्यकता है — failproofai auth देखें।

​
Audit-only डिटेक्टर्स

ये “stupid behavior” पैटर्न को डिटेक्ट करते हैं जो (अभी तक) रीयल टाइम में enforce नहीं किए जाते हैं। वे केवल ऑडिट के दौरान चलते हैं और कभी live tool call को ब्लॉक नहीं करते हैं।

​
कैशेस

  • Per-transcript कैश ~/.failproofai/cache/audit/<sha1>.json पर (mtime, size, engineVersion, detectorVersion) द्वारा keyed — जब ट्रांसक्रिप्ट या policy/detector कोड बदलता है तो स्वचालित रूप से invalidate होता है। प्रत्येक entry एक cachedAt timestamp को TTL metadata के रूप में भी स्टोर करता है (कैश key का भाग नहीं); 7 दिन से पुरानी entries को पढ़ते समय अस्वीकार किया जाता है ताकि लंबे समय तक रहने वाले परिणाम विकसित होने वाले detector intent को पार न करें।
  • Whole-result कैश ~/.failproofai/audit-dashboard.json पर (mode 0600)। डैशबोर्ड को re-running के बिना navigation पर तुरंत प्रस्तुत करने देता है। 7-day TTL के बाद भी पढ़ते समय अस्वीकार किया जाता है — /audit तब इसकी empty state में गिरता है और एक fresh run को प्रेरित करता है। रिपोर्ट के नीचे के पास [ re-audit now ] पर क्लिक करें refresh के लिए — re-audit noCache: true भेजता है, इसलिए यह per-transcript कैश को बाईपास करता है और cached result देने के बजाय हर ट्रांसक्रिप्ट को फिर से स्कैन करता है; run एक sticky top strip के माध्यम से progress स्ट्रीम करता है और success पर परिणाम को जगह में स्वैप करता है (कोई page reload नहीं; एक failed re-audit पिछली रिपोर्ट को रखता है)।

​
नोट्स

  • कोई mutation नहीं। ऑडिट read-only mode में फिर से चलता है। warn-repeated-tool-calls को छोड़ दिया जाता है क्योंकि इसका per-session sidecar अन्यथा modify हो जाएगा।
  • Workflow policies छोड़ दिए जाते हैं। require-*-before-stop policies केवल Stop events और live git state के विरुद्ध execSync पर fire होती हैं — इनका meaningful “what would have happened in 2025” interpretation नहीं है, इसलिए वे audit counts में दिखाई नहीं देते हैं।
  • Custom policies छोड़ दिए जाते हैं। User-supplied custom hooks को फिर से चलाया नहीं जाता (वे original session के बाद से बदल सकते हैं)।