Skip to main content
Tính năng beta. Kiểm toàn được phát hành dưới dạng beta trong khi chúng tôi thu thập phản hồi sớm. Danh mục detector và định dạng báo cáo có thể thay đổi trước bản phát hành ổn định tiếp theo. Vui lòng mở một vấn đề nếu bất kỳ điều gì không đúng.
Kiểm toàn phát lại các phiên ghi âm agent-CLI trong quá khứ của bạn thông qua công cụ chính sách của failproofai và hiển thị một báo cáo trực quan có thể chia sẻ trên trang bảng điều khiển /audit — kiểu hình nguyên mẫu của agent, điểm từ 0–100, và chính xác những chính sách nào sẽ bắt được điều gì.

Chạy nó

Ba cách vào — tất cả đều dẫn đến báo cáo /audit giống nhau.

Không cài đặt

npx -y failproofai audit tìm nạp failproofai, chạy quét và mở bảng điều khiển cho bạn — không cần cài đặt trước.

Từ CLI

failproofai audit chạy quét trong terminal của bạn, sau đó tự động mở localhost:8020/audit khi hoàn thành.

Từ bảng điều khiển

Chạy failproofai và nhấp vào Audit trong thanh điều hướng (giữa Policies và Projects), hoặc mở /audit trực tiếp.
Chạy failproofai audit -h (hoặc --help) để xem cách sử dụng. Kiểm toàn chạy hoàn toàn ngoại tuyến — không cần tài khoản hoặc mạng — và bảng điều khiển tiếp tục phục vụ cho đến khi bạn dừng nó bằng Ctrl+C.
Bảng điều khiển quét các phiên ghi âm agent CLI trong quá khứ trên máy này (Claude Code, Codex, Copilot, Cursor, OpenCode, Pi) và báo cáo tần suất agent thực hiện những điều mà failproofai được xây dựng để dừng — kiểm tra biến môi trường, force push, tiền tố cd <cwd> dư thừa, vòng lặp sleep-polling, đọc lại các tệp vừa được chỉnh sửa, và hơn thế nữa. Đối với mỗi phiên ghi âm, mọi sự kiện sử dụng công cụ được phát lại thông qua 39 chính sách tích hợp thông qua 8 detector chỉ dành cho kiểm toàn bắt các mẫu chưa được bao gồm bởi các chính sách thời gian chạy. Số lượng được tổng hợp trên mỗi chính sách/detector trên tất cả các phiên.

Bạn nhận được gì

Trang /audit là một poster trên một màn hình có thể chia sẻ, theo sau là bốn phần dưới đây nếp gấp:
  1. Poster — danh tính của agent của bạn trong thoáng qua: kiểu hình nguyên mẫu của nó (một trong 8 — optimist, cowboy, explorer, goldfish, paranoid architect, precision builder, hammer, ghost), các từ khóa persona của nó, độ hiếm của kiểu hình nguyên mẫu đó, và điểm từ 0–100 với dải cấp bậc (S xuống cấp thấp nhất). Được xây dựng để chia sẻ — đăng trên X hoặc LinkedIn, hoặc tải xuống dưới dạng PNG.
  2. // strengths — những điều mà agent của bạn đã làm tốt, dưới dạng các số thực từ quét (ví dụ: phần trăm clean-tool-call, 0 nỗ lực push-to-main), chỉ hiển thị khi chính sách liên quan có hồ sơ sạch.
  3. // quirks — những gì đã trượt qua: một bảng xếp hạng các hành vi mà failproofai sẽ bắt được — khi lần cuối cùng nó xảy ra, những gì đã trượt (và tính năng tích hợp sẽ chặn nó), mức độ nghiêm trọng của nó, và tần suất được nhìn thấy (new / recurring / N× seen).
  4. // how to improve — danh sách sửa chữa được quy định: một hàng cho mỗi chính sách với failproofai policy add <slug> sao chép dán, cộng với nút cài đặt tất cả kích hoạt mọi khuyến nghị cùng một lúc và hiển thị điểm dự báo của bạn nếu bạn làm như vậy.
  5. // come back better — xây dựng thói quen: đặt nhắc nhở kiểm toàn lại qua email (3d / 7d / 14d / 30d) hoặc kiểm toàn ngay bây giờ, và mời một bạn chạy kiểm toàn của riêng họ (được gửi từ failproof.ai, Cc cho bạn). Nhắc nhở và lời mời yêu cầu đăng nhập.

Kiểm toàn được lên lịch

Nếu bạn chạy daemon failproofaid (xem failproofai config), nó có thể chạy lại kiểm toàn cho bạn theo lịch trình và làm mới báo cáo /audit ở chế độ nền. Nó tắt theo mặc định, vì quét đọc nội dung của mọi phiên ghi âm agent session trên máy này — không có gì quét theo bộ hẹn giờ cho đến khi bạn yêu cầu. Bật nó trong ~/.failproofai/config.toml:
  • Lịch trình là wall-clock, vì vậy nó sống sót qua tạm dừng và khởi động lại: một máy tính xách tay đã ngủ quá thời gian đến hạn chạy một lần trên thức dậy, không bao giờ một khối lượng công việc dữ liệu.
  • Mỗi lần chạy là một quá trình riêng biệt, mức độ ưu tiên thấp (nice 19) — không bao giờ đường dẫn hook của daemon, vốn luôn sẵn sàng để trả lời các lệnh gọi công cụ.
  • Quét bị bỏ qua nếu failproofai audit hoặc re-run của bảng điều khiển đã đang hoạt động; nó được thử lại trong thời gian ngắn sau thay vì được coi là một thất bại.
  • Tiến độ được ghi vào ~/.failproofai/state/audit-schedule.json (lần chạy cuối cùng, tiếp theo đến hạn). Daemon sở hữu tệp đó — thay đổi tốc độ trong config.toml.
Nếu bạn kích hoạt điều này trên máy được thiết lập bởi failproofai cũ hơn, hãy chạy failproofai config một lần. Định nghĩa dịch vụ của daemon cần một bản nhập bổ sung trước khi nó có thể khởi chạy CLI, và làm mới là một phần của lệnh đó.

Các detector chỉ dành cho kiểm toàn

Những cái này phát hiện các mẫu hành vi độc xuất không (yet) được thực thi trong thời gian thực. Chúng chỉ chạy trong kiểm toàn và không bao giờ chặn một lệnh gọi công cụ trực tiếp.

Bộ nhớ đệm

  • Bộ nhớ đệm trên mỗi phiên ghi âm tại ~/.failproofai/cache/audit/<sha1>.json được khóa bằng (mtime, size, engineVersion, detectorVersion) — bất hợp lệ tự động khi phiên ghi âm hoặc code chính sách/detector thay đổi. Mỗi mục cũng lưu trữ dấu thời gian cachedAt làm siêu dữ liệu TTL (không phải một phần của khóa bộ nhớ đệm); các mục cũ hơn 7 ngày bị từ chối khi đọc để kết quả lâu dài không sống sót ngoài ý định detector phát triển.
  • Bộ nhớ đệm kết quả toàn bộ tại ~/.failproofai/audit-dashboard.json (chế độ 0600). Cho phép bảng điều khiển hiển thị ngay lập tức khi điều hướng mà không cần chạy lại. Cũng bị từ chối khi đọc quá TTL 7 ngày/audit sau đó rơi vào trạng thái trống của nó và nhắc nhở chạy lại. Nhấp vào [ re-audit now ] gần phía dưới của báo cáo để làm mới — re-audit gửi noCache: true, vì vậy nó bỏ qua bộ nhớ đệm trên mỗi phiên ghi âm và quét lại mỗi phiên ghi âm thay vì trả về kết quả được lưu trong bộ nhớ đệm; lần chạy truyền phát tiến độ qua dải trên cùng (sticky) và hoán đổi kết quả tại chỗ khi thành công (không tải lại trang; re-audit thất bại giữ báo cáo trước đó).

Ghi chú

  • Không đột biến. Kiểm toàn phát lại ở chế độ chỉ đọc. warn-repeated-tool-calls bị bỏ qua vì xe đặt hàng sidecar trên mỗi phiên của nó sẽ bị sửa đổi.
  • Chính sách quy trình làm việc bị bỏ qua. Các chính sách require-*-before-stop chỉ kích hoạt trên các sự kiện StopexecSync so với trạng thái git trực tiếp — chúng không có diễn giải có ý nghĩa nào (what would have happened in 2025), vì vậy chúng không xuất hiện trong số lượng kiểm toàn.
  • Chính sách tùy chỉnh bị bỏ qua. Các hook tùy chỉnh do người dùng cung cấp không được phát lại (chúng có thể đã thay đổi kể từ phiên ban đầu).