ベータ機能。 初期フィードバックを収集しながら提供しています。
検出器のカタログおよびレポートの形式は、次の安定版リリース前に変更される可能性があります。
問題があればIssueを作成してください。
/audit ダッシュボードページに共有可能なビジュアルレポートを表示します。レポートにはエージェントのアーキタイプ、0〜100のスコア、そしてどのポリシーが何を検出できたかが詳しく示されます。
実行方法
3通りの起動方法があり、いずれも同じ/audit レポートに到達します。
インストール不要
npx -y failproofai audit は failproofai を取得してスキャンを実行し、ダッシュボードを自動的に開きます。事前インストールは不要です。CLIから実行
failproofai audit はターミナルでスキャンを実行し、完了後に
localhost:8020/audit を自動的に開きます。ダッシュボードから実行
failproofai を実行してナビゲーションバーの Audit(PoliciesとProjectsの間)をクリックするか、/audit を直接開いてください。cd <cwd> プレフィックス、スリープポーリングループ、直前に編集したファイルの再読み込みなど)をエージェントがどのくらいの頻度で行っているかを報告します。
各トランスクリプトについて、すべてのツール使用イベントが39個の組み込みポリシーおよびランタイムポリシーではまだカバーされていないパターンを検出する8個の監査専用検出器を通じて再生されます。カウントはすべてのセッションを通じてポリシー/検出器ごとに集計されます。
取得できる情報
/audit ページは1画面で共有可能なポスターと、その下に4つのセクションで構成されています。
- ポスター — エージェントのアイデンティティを一目で把握できます。アーキタイプ(8種類のうちの1つ:
optimist、cowboy、explorer、goldfish、paranoid architect、precision builder、hammer、ghost)、ペルソナキーワード、そのアーキタイプの希少性、および階層バンド付きの0〜100スコア(S〜bottom tier)が表示されます。XやLinkedInに投稿したり、PNGとしてダウンロードして共有できます。 // strengths— エージェントがすでに上手くできていること。スキャンの実際の数値(例:クリーンなツールコール率、0回のmainへのプッシュ試行)として表示され、関連するポリシーのレコードがクリーンな場合のみ表示されます。// quirks— 見逃したもの:failproofai が検出したはずの動作をランキング形式の表で表示します。いつ最後に発生したか、何が見逃されたか(および本来ブロックしたはずの組み込みポリシー)、その重大度、および発生頻度(new/recurring/N× seen)が確認できます。// how to improve— 推奨される修正リスト:コピー&ペーストで使えるfailproofai policy add <slug>が各ポリシーに1行ずつ表示され、すべての推奨事項を一括で有効にする install all ボタンと、適用した場合の予測スコアも確認できます。// come back better— 習慣化のサポート:再監査のメールリマインダー(3d/7d/14d/30d)の設定または今すぐ再監査の実行、および友人への招待(failproof.ai から送信され、あなたにCcされます)ができます。リマインダーと招待にはサインインが必要です。
スケジュール監査
failproofaid デーモンを実行している場合(failproofai config を参照)、スケジュールに従って自動的に監査を再実行し、バックグラウンドで /audit レポートを更新できます。スキャンはこのマシン上のすべてのエージェントセッショントランスクリプトの内容を読み込むため、デフォルトでは無効になっています。明示的に要求するまでタイマーでスキャンは実行されません。
~/.failproofai/config.toml で有効にします:
- スケジュールはウォールクロックベースのため、サスペンドや再起動後も維持されます。期限を過ぎてスリープしていたラップトップは起動時に1回だけ実行され、積み残しは発生しません。
- 各実行は独立した低優先度(
nice 19)プロセスです。ツールコールへの応答を維持するため、デーモンのフックパスは常に解放されています。 failproofai auditまたはダッシュボードの再実行がすでに進行中の場合、スキャンはスキップされ、失敗ではなく後で再試行されます。- 進捗は
~/.failproofai/state/audit-schedule.json(最終実行日時、次回予定日時)に書き込まれます。このファイルはデーモンが管理しています。スケジュールの変更はconfig.tomlで行ってください。
古いバージョンの failproofai でセットアップしたマシンでこれを有効にした場合は、
failproofai config を一度実行してください。デーモンのサービス定義にCLIを起動するための追加エントリが必要であり、このコマンドの実行によって更新されます。監査専用検出器
これらはリアルタイムではまだ適用されていない「非効率な動作」パターンを検出します。監査中にのみ実行され、ライブのツールコールをブロックすることはありません。キャッシュ
- トランスクリプトごとのキャッシュは
~/.failproofai/cache/audit/<sha1>.jsonに保存され、(mtime, size, engineVersion, detectorVersion)をキーとします。トランスクリプトまたはポリシー/検出器のコードが変更されると自動的に無効化されます。各エントリにはcachedAtタイムスタンプがTTLメタデータとして保存されます(キャッシュキーには含まれません)。7日を超えたエントリは読み取り時に拒否されるため、古い結果が進化する検出器の意図を超えて存続することはありません。 - 全体結果のキャッシュは
~/.failproofai/audit-dashboard.json(モード0600)に保存されます。ページに遷移したときに再実行なしでダッシュボードを即座に表示できます。こちらも7日のTTLを超えると読み取り時に拒否され、/auditは空の状態にフォールバックして新規実行を促します。レポート下部の[ re-audit now ]をクリックして更新してください。再監査はnoCache: trueで送信されるため、トランスクリプトごとのキャッシュを迂回してすべてのトランスクリプトを再スキャンします(キャッシュ結果を返すのではなく)。実行中は上部の固定ストリップで進捗がストリーミング表示され、成功時は結果がその場で入れ替わります(ページリロードなし。再監査が失敗した場合は以前のレポートが保持されます)。
注意事項
- 変更なし。 監査は読み取り専用モードで再生されます。
warn-repeated-tool-callsはセッションごとのサイドカーが変更されてしまうためスキップされます。 - ワークフローポリシーはスキップされます。
require-*-before-stopポリシーはStopイベントとexecSyncによるライブのgit状態に対してのみ動作します。「2025年の時点で何が起きていたか」を意味のある形で解釈できないため、監査カウントには含まれません。 - カスタムポリシーはスキップされます。 ユーザーが設定したカスタムフックは再生されません(元のセッション以降に変更されている可能性があるため)。

