Skip to main content
Tính năng beta. Tính năng kiểm toán được phát hành dưới dạng beta trong khi chúng tôi thu thập phản hồi ban đầu. Danh mục detector và định dạng báo cáo có thể thay đổi trước lần phát hành ổn định tiếp theo. Vui lòng mở một issue nếu bất cứ điều gì trông có vấn đề.
Tính năng kiểm toán hiện được expose dưới dạng trang dashboard /audit, không phải là một lệnh con CLI. Mở nó từ thanh navbar của dashboard (giữa Policies và Projects), hoặc truy cập trực tiếp http://localhost:8020/audit khi chạy failproofai cục bộ.
failproofai          # mở dashboard, sau đó bấm "Audit"
Dashboard quét các bảng ghi chép CLI của agent trong quá khứ trên máy này (Claude Code, Codex, Copilot, Cursor, OpenCode, Pi, Gemini) và báo cáo agent đã thực hiện những việc failproofai được xây dựng để dừng lại bao nhiêu lần — kiểm tra biến môi trường, force push, tiền tố cd <cwd> dự phòng, vòng lặp sleep-polling, đọc lại các tệp vừa được chỉnh sửa, v.v. Đối với mỗi bảng ghi chép, mỗi sự kiện tool-use được phát lại qua 39 chính sách tích hợp qua 8 detector chỉ dành cho kiểm toán bắt các mẫu chưa được bao phủ bởi các chính sách runtime. Số lượng được tổng hợp cho mỗi chính sách / detector trên tất cả các phiên.

Bạn nhận được gì

Trang /audit bao gồm sáu phần:
  1. Identity — agent của bạn được phân loại thành một trong 8 nguyên mẫu (optimist, cowboy, explorer, goldfish, paranoid architect, precision builder, hammer, ghost) dựa trên tín hiệu có trọng số trên mỗi bảng ghi chép được kiểm toán.
  2. Strengths — các con số thực tế xuất phát từ quét (tỷ lệ clean-call %, “0 credential leaks”, v.v.) được kiểm soát trên các chính sách sanitize có liên quan thực sự đang hoạt động.
  3. Score — 0-100 với các dải S/A/B/C/D/F và phần mềm dự báo nếu mọi chính sách được đề xuất đều được bật.
  4. Findings — các thẻ per-policy với những gì đã xảy ra, chi phí, bằng chứng được nắm bắt, và lệnh failproofai policy add <slug> chính xác để bật tính năng tích hợp runtime sẽ bắt được nó.
  5. Prescribed policies — danh sách cài đặt tổng hợp với một lệnh failproofai policies --install một lần.
  6. Re-audit reminder — “hãy quay lại tốt hơn.” Đặt lời nhắc nhở qua email 7 ngày thông qua api-server (yêu cầu đăng nhập; xem failproofai auth).

Detector chỉ dành cho kiểm toán

Những detector này phát hiện các mẫu “hành vi ngu ngốc” chưa (hoặc chưa) được thực thi trong thời gian thực. Chúng chỉ chạy trong quá trình kiểm toán và không bao giờ chặn lệnh tool gọi trực tiếp.
DetectorNó đếm cái gì
redundant-cd-cwdCác lệnh Bash bắt đầu bằng cd <cwd> && … mặc dù các lệnh đã chạy trong cwd.
prefer-edit-over-read-catcat/head/tail/less/more trên một tệp nguồn duy nhất — sử dụng công cụ Read.
prefer-edit-over-sed-awksed -i / awk … > file chỉnh sửa tại chỗ — sử dụng công cụ Edit.
prefer-write-over-heredocHeredoc / echo > file nhiều dòng ghi các tệp — sử dụng công cụ Write.
sleep-polling-loopsleep N dài (≥ 30s) hoặc while …; sleep …; done vòng lặp polling.
find-from-rootfind /, find /home, find /usr, v.v. — phạm vi tới cwd thay thế.
git-commit-no-verifygit commit … --no-verify / -n, bỏ qua hooks.
reread-after-editRead một tệp vừa được Edit/Write trong cùng một phiên.

Bộ nhớ cache

  • Bộ nhớ cache per-transcript tại ~/.failproofai/cache/audit/<sha1>.json được khóa bởi (mtime, size, engineVersion, detectorVersion). Làm mất hiệu lực tự động khi mã chính sách hoặc detector thay đổi.
  • Bộ nhớ cache kết quả toàn bộ tại ~/.failproofai/audit-dashboard.json (chế độ 0600). Cho phép dashboard render ngay trên điều hướng mà không cần chạy lại. Bấm [ re-audit now ] từ dashboard để làm mới.

Ghi chú

  • Không thay đổi. Quá trình kiểm toán diễn ra ở chế độ chỉ đọc. warn-repeated-tool-calls bị bỏ qua vì sidecar per-session của nó sẽ bị sửa đổi.
  • Chính sách workflow bị bỏ qua. Các chính sách require-*-before-stop chỉ kích hoạt trên các sự kiện StopexecSync đối với trạng thái git trực tiếp — chúng không có nghĩa “điều gì sẽ xảy ra vào năm 2025” có ý nghĩa, vì vậy chúng không xuất hiện trong số lượng kiểm toán.
  • Chính sách tùy chỉnh bị bỏ qua. Các hook do người dùng cung cấp không được phát lại (chúng có thể đã thay đổi kể từ phiên ban đầu).