Skip to main content
बीटा फीचर। ऑडिट बीटा के रूप में जारी है जबकि हम शुरुआती प्रतिक्रिया एकत्र करते हैं। डिटेक्टर कैटलॉग और रिपोर्ट प्रारूप अगले स्थिर संस्करण से पहले बदल सकते हैं। यदि कुछ गलत लगे तो कृपया एक समस्या खोलें।
ऑडिट आपके पिछले एजेंट-CLI ट्रांसक्रिप्ट को failproofai की policy इंजन के माध्यम से फिर से चलाता है और /audit डैशबोर्ड पृष्ठ पर एक साझाकरण योग्य, दृश्य रिपोर्ट प्रदान करता है — आपके एजेंट का आर्कीटाइप, 0–100 स्कोर, और वास्तव में कौन सी policies क्या पकड़ सकती हैं।

इसे चलाएं

तीन तरीके — सभी एक ही /audit रिपोर्ट पर पहुंचते हैं।

कोई इंस्टॉल नहीं

npx -y failproofai audit failproofai को लाता है, स्कैन चलाता है, और डैशबोर्ड खोलता है — पहले कुछ इंस्टॉल करने की आवश्यकता नहीं।

CLI से

failproofai audit आपके टर्मिनल में स्कैन चलाता है, फिर यह समाप्त होने पर localhost:8020/audit स्वचालित रूप से खोलता है।

डैशबोर्ड से

failproofai चलाएं और नेवबार में Audit पर क्लिक करें (Policies और Projects के बीच), या सीधे /audit खोलें।
उपयोग देखने के लिए failproofai audit -h (या --help) चलाएं। ऑडिट पूरी तरह ऑफलाइन चलता है — कोई खाता या नेटवर्क आवश्यक नहीं — और डैशबोर्ड तब तक सेवा प्रदान करता रहता है जब तक आप इसे Ctrl+C से बंद न करें।
डैशबोर्ड इस मशीन पर पिछले एजेंट CLI ट्रांसक्रिप्ट को स्कैन करता है (Claude Code, Codex, Copilot, Cursor, OpenCode, Pi) और रिपोर्ट करता है कि एजेंट ने कितनी बार वे काम किए जो failproofai रोकने के लिए बनाया गया है — env-var चेक, force pushes, redundant cd <cwd> prefixes, sleep-polling loops, अभी-अभी edited files को फिर से पढ़ना, और अधिक। प्रत्येक ट्रांसक्रिप्ट के लिए, हर tool-use इवेंट को 39 builtin policies और 8 audit-only detectors के माध्यम से फिर से चलाया जाता है जो उन पैटर्न को पकड़ते हैं जो अभी तक runtime policies द्वारा कवर नहीं किए गए हैं। काउंट्स सभी सत्रों में प्रति policy / detector को एकत्रित किए जाते हैं।

आपको क्या मिलता है

/audit पृष्ठ एक single-screen, साझाकरण योग्य पोस्टर है जिसके बाद चार अनुभाग हैं:
  1. पोस्टर — आपके एजेंट की पहचान एक नज़र में: इसका आर्कीटाइप (8 में से एक — optimist, cowboy, explorer, goldfish, paranoid architect, precision builder, hammer, ghost), इसके persona कीवर्ड, वह आर्कीटाइप कितना दुर्लभ है, और एक 0–100 स्कोर एक tier band (S से bottom tier) के साथ। साझा करने के लिए बनाया गया — X या LinkedIn पर पोस्ट करें, या इसे PNG के रूप में डाउनलोड करें।
  2. // strengths — स्कैन से आपका एजेंट पहले से ही क्या अच्छा करता है, real numbers के रूप में (उदाहरण के लिए clean-tool-call %, 0 push-to-main attempts), केवल वहां दिखाया गया जहां प्रासंगिक policy का रिकॉर्ड clean है।
  3. // quirks — क्या पार निकल गया: failproofai द्वारा पकड़े गए व्यवहारों की एक ranked तालिका — कब यह आखिरी बार हुआ, क्या पार निकल गया (और builtin जो इसे ब्लॉक कर सकता था), इसकी severity, और यह कितनी बार देखा गया (new / recurring / N× seen)।
  4. // how to improve — prescribed fix list: प्रति policy एक row एक copy-paste failproofai policy add <slug> के साथ, साथ ही एक install all बटन जो हर सिफारिश को एक साथ सक्षम करता है और आपका projected score दिखाता है यदि आपने ऐसा किया।
  5. // come back better — आदत बनाएं: एक re-audit email reminder सेट करें (3d / 7d / 14d / 30d) या अभी फिर से ऑडिट करें, और एक दोस्त को आमंत्रित करें अपना खुद का ऑडिट चलाने के लिए (failproof.ai से भेजा गया, आपको Cc किया गया)। Reminders और invites के लिए sign-in की आवश्यकता है।

Scheduled audits

यदि आप failproofaid daemon चलाते हैं (देखें failproofai config), यह आपके लिए schedule पर ऑडिट को फिर से चला सकता है और background में /audit रिपोर्ट को refresh कर सकता है। यह डिफ़ॉल्ट रूप से बंद है, क्योंकि स्कैन इस मशीन पर हर एजेंट सत्र ट्रांसक्रिप्ट की सामग्री को पढ़ता है — जब तक आप इसके लिए न कहें, कोई भी timer पर स्कैन नहीं करता। इसे ~/.failproofai/config.toml में चालू करें:
  • शेड्यूल wall-clock है, इसलिए यह suspend और reboots को survive करता है: एक लैपटॉप जो अपने due समय के बाद सो रहा था एक बार wake पर चलता है, कभी backlog नहीं।
  • प्रत्येक run एक अलग, low-priority (nice 19) प्रक्रिया है — कभी भी daemon के hook path नहीं, जो tool calls का जवाब देने के लिए free रहता है।
  • एक स्कैन को छोड़ दिया जाता है यदि failproofai audit या डैशबोर्ड की re-run पहले से ही flight में है; यह failure के रूप में treat किए जाने के बजाय शीघ्र ही फिर से try किया जाता है।
  • Progress को ~/.failproofai/state/audit-schedule.json में लिखा जाता है (last run, next due)। Daemon उस फ़ाइल का मालिक है — config.toml में cadence बदलें।
यदि आपने इसे एक पुराने failproofai द्वारा सेट किए गए मशीन पर सक्षम किया है, तो failproofai config एक बार चलाएं। Daemon की service definition को CLI को launch करने के लिए एक अतिरिक्त entry की आवश्यकता है, और refresh उस command का हिस्सा है।

Audit-only detectors

ये “stupid behavior” पैटर्न का पता लगाते हैं जो (अभी तक) real time में लागू नहीं किए जाते हैं। ये केवल ऑडिट के दौरान चलते हैं और कभी भी live tool call को ब्लॉक नहीं करते।

Caches

  • Per-transcript cache ~/.failproofai/cache/audit/<sha1>.json पर (mtime, size, engineVersion, detectorVersion) द्वारा keyed — स्वचालित रूप से अमान्य करता है जब ट्रांसक्रिप्ट या policy/detector कोड बदलता है। प्रत्येक entry एक cachedAt timestamp को TTL metadata के रूप में भी store करता है (cache key का हिस्सा नहीं); 7 दिनों से पुरानी entries को read पर reject किया जाता है ताकि long-lived results विकसित होते detector intent को outlive न करें।
  • Whole-result cache ~/.failproofai/audit-dashboard.json पर (mode 0600)। डैशबोर्ड को re-run किए बिना navigation पर instantly render करने देता है। 7-day TTL के बाद read पर भी reject किया जाता है — /audit फिर अपनी empty state में falls through और एक fresh run के लिए prompt करता है। रिपोर्ट के नीचे के पास [ re-audit now ] पर क्लिक करें refresh करने के लिए — re-audit noCache: true भेजता है, इसलिए यह per-transcript cache को bypass करता है और cached result return करने के बजाय हर transcript को फिर से scan करता है; run एक sticky top strip के माध्यम से progress को stream करता है और success पर result को place में swap करता है (कोई page reload नहीं; एक failed re-audit पिछली रिपोर्ट को रखता है)।

Notes

  • कोई mutation नहीं। ऑडिट read-only mode में replays करता है। warn-repeated-tool-calls को छोड़ा जाता है क्योंकि इसका per-session sidecar अन्यथा modified होगा।
  • Workflow policies छोड़े गए। require-*-before-stop policies केवल Stop events पर और live git state के विरुद्ध execSync पर fire करती हैं — उनके पास कोई meaningful “what would have happened in 2025” interpretation नहीं है, इसलिए वे audit counts में दिखाई नहीं देते।
  • Custom policies छोड़े गए। User-supplied custom hooks को replay नहीं किया जाता है (वे original session के बाद से बदल सकते हैं)।