Skip to main content
Tính năng beta. Công cụ kiểm toán được phát hành dưới dạng beta trong khi chúng tôi thu thập phản hồi ban đầu. Danh mục detector và định dạng báo cáo có thể thay đổi trước bản ổn định tiếp theo. Vui lòng tạo issue nếu bạn thấy bất cứ điều gì sai sót.
Công cụ kiểm toán sẽ phát lại các bản ghi quá khứ của agent-CLI qua engine chính sách của failproofai và tạo ra một báo cáo trực quan có thể chia sẻ trên trang dashboard /audit — kiểu mẫu của agent, điểm từ 0–100, và chính xác những chính sách nào sẽ phát hiện được điều gì.

​
Chạy nó

Ba cách để bắt đầu — tất cả đều dẫn đến cùng một báo cáo /audit.

Không cần cài đặt

npx -y failproofai audit tải failproofai, chạy quét, và mở dashboard cho bạn — không cần cài đặt trước.

Từ CLI

failproofai audit chạy quét trong terminal của bạn, sau đó tự động mở localhost:8020/audit khi hoàn tất.

Từ dashboard

Chạy failproofai và nhấp Audit trong navbar (giữa Policies và Projects), hoặc mở /audit trực tiếp.
Chạy failproofai audit -h (hoặc --help) để xem cách sử dụng. Công cụ kiểm toán chạy hoàn toàn ngoại tuyến — không cần tài khoản hay mạng — và dashboard tiếp tục hoạt động cho đến khi bạn dừng nó bằng Ctrl+C.
Dashboard quét các bản ghi agent CLI quá khứ trên máy này (Claude Code, Codex, Copilot, Cursor, OpenCode, Pi) và báo cáo tần suất agent làm những việc mà failproofai được xây dựng để ngăn chặn — kiểm tra biến môi trường, force push, tiền tố cd <cwd> dư thừa, vòng lặp sleep-polling, đọc lại tệp vừa chỉnh sửa, và nhiều hơn nữa. Đối với mỗi bản ghi, mỗi sự kiện tool-use được phát lại thông qua 39 chính sách tích hợp và thông qua 8 detector chỉ dùng cho kiểm toán để phát hiện các mẫu chưa được bao phủ bởi các chính sách thời gian chạy. Các số được tổng hợp theo chính sách/detector trên tất cả các phiên.

​
Những gì bạn nhận được

Trang /audit là một áp phích toàn màn hình có thể chia sẻ, theo sau bởi bốn phần dưới nền trang:
  1. Áp phích — danh tính của agent một cách nhanh chóng: kiểu mẫu của nó (một trong 8 — optimist, cowboy, explorer, goldfish, paranoid architect, precision builder, hammer, ghost), các từ khóa tính cách của nó, mức độ hiếm của kiểu mẫu đó, và điểm 0–100 với dải hạng (S cho đến bottom tier). Được xây dựng để chia sẻ — đăng lên X hoặc LinkedIn, hoặc tải xuống dưới dạng PNG.
  2. // strengths — những gì agent của bạn đã làm tốt, dưới dạng các số thực từ quét (ví dụ: clean-tool-call %, 0 lần push-to-main), chỉ hiển thị nơi chính sách liên quan có hồ sơ sạch sẽ.
  3. // quirks — những gì đã trượt qua: một bảng xếp hạng các hành vi mà failproofai sẽ phát hiện — khi nó lần cuối cùng xảy ra, những gì đã trượt (và built-in sẽ chặn nó), mức độ nghiêm trọng của nó, và tần suất nó được nhìn thấy (new / recurring / N× seen).
  4. // how to improve — danh sách sửa chữa được quy định: một hàng trên mỗi chính sách với failproofai policy add <slug> sao chép-dán, cộng với nút install all cho phép mọi đề xuất cùng một lúc và hiển thị projected score của bạn nếu bạn làm vậy.
  5. // come back better — hình thành thói quen: đặt reminder kiểm toán lại qua email (3d / 7d / 14d / 30d) hoặc kiểm toán lại ngay bây giờ, và invite a friend để chạy kiểm toán của riêng họ (được gửi từ failproof.ai, được Cc cho bạn). Reminder và lời mời cần đăng nhập — xem failproofai auth.

​
Detector chỉ dùng cho kiểm toán

Những cái này phát hiện các mẫu hành vi “ngớ ngẩn” chưa được (thực thi) trong thời gian thực. Chúng chỉ chạy trong quá trình kiểm toán và không bao giờ chặn một lệnh tool gọi trực tiếp.

​
Bộ nhớ đệm

  • Bộ nhớ đệm trên mỗi bản ghi tại ~/.failproofai/cache/audit/<sha1>.json được khóa bởi (mtime, size, engineVersion, detectorVersion) — tự động vô hiệu hóa khi bản ghi hoặc mã chính sách/detector thay đổi. Mỗi mục nhập cũng lưu trữ dấu thời gian cachedAt như siêu dữ liệu TTL (không phải là một phần của khóa bộ nhớ đệm); các mục nhập cũ hơn 7 ngày bị từ chối khi đọc để các kết quả lâu dài không vượt quá ý định detector phát triển.
  • Bộ nhớ đệm toàn bộ kết quả tại ~/.failproofai/audit-dashboard.json (chế độ 0600). Cho phép dashboard hiển thị ngay lập tức khi điều hướng mà không cần chạy lại. Cũng bị từ chối khi đọc quá 7 ngày TTL — /audit sau đó rơi vào trạng thái trống và nhắc chạy lại. Nhấp [ re-audit now ] gần phía dưới của báo cáo để làm mới — kiểm toán lại gửi noCache: true, vì vậy nó bỏ qua bộ nhớ đệm trên mỗi bản ghi và quét lại mỗi bản ghi thay vì trả về kết quả được lưu trong bộ nhớ đệm; chạy phát trực tuyến tiến trình qua một dải trên cùng dính và hoán đổi kết quả tại chỗ khi thành công (không tải lại trang; một lần kiểm toán lại không thành công sẽ giữ báo cáo trước đó).

​
Ghi chú

  • Không có đột biến. Kiểm toán phát lại ở chế độ chỉ đọc. warn-repeated-tool-calls bị bỏ qua vì sidecar trên mỗi phiên của nó sẽ bị sửa đổi nếu không.
  • Chính sách workflow bị bỏ qua. Các chính sách require-*-before-stop chỉ kích hoạt trên các sự kiện Stop và execSync đối với trạng thái git trực tiếp — chúng không có cách diễn giải có ý nghĩa “những gì sẽ xảy ra vào năm 2025”, vì vậy chúng không xuất hiện trong số kiểm toán.
  • Chính sách tùy chỉnh bị bỏ qua. Hook tùy chỉnh do người dùng cung cấp không được phát lại (chúng có thể đã thay đổi kể từ phiên gốc).