Agent harnesses - Failproof AI

Harness là bất cứ thứ gì mà agent của bạn thực sự chạy bên trong đó. Failproof AI hỗ trợ mười hai harness, được chia thành hai loại:

Coding CLIs (10) — Claude Code, Codex, GitHub Copilot CLI, Cursor, OpenCode, Pi, Factory Droid, Devin CLI, Antigravity CLI, Goose
Chat and assistant gateways (2) — Hermes (Slack, Telegram, cron), OpenClaw (self-hosted assistant)

Các chính sách và lịch sử phiên làm việc giống nhau áp dụng cho bất kỳ harness nào mà agent chạy trong đó. Một lớp adapter xây dựng lại các tên sự kiện, tên công cụ và trường đầu vào công cụ của mỗi harness thành 29 sự kiện chuẩn trước khi bất kỳ chính sách nào chạy. Một agent chạy trong không harness nào trong mười hai harness sẽ được hỗ trợ trực tiếp bằng Python SDK. Đây là một hợp đồng khác, và đáng để phát biểu rõ ràng: SDK cung cấp tracing, sessions, evaluations và audits — nó không tự thực hiện việc enforce policies. Chặn một hành động không an toàn trước khi thực thi cần một enforcement hook ở ranh giới công cụ của runtime của bạn; liên hệ với chúng tôi và chúng tôi sẽ xây dựng lại nó.

Harness	Supported hook scopes
Claude Code	User, project, local
Codex, GitHub Copilot CLI, Cursor, OpenCode, Pi	User, project
Factory Droid, Devin CLI, Antigravity CLI, Goose	User, project
Hermes, OpenClaw	User

Mỗi tích hợp chuẩn hóa các tên sự kiện hook, tên công cụ và trường đầu vào công cụ của nó trước khi các chính sách chạy. Một chính sách chỉ có thể hoạt động trên các sự kiện mà harness để lộ; kiểm tra hành vi end-of-turn và instruction trên harness và phiên bản chính xác mà bạn triển khai.

Enforcement capability

“Block” có nghĩa là verdict được trả về bởi adapter hiện tại được harness được đặt tên tiêu thụ. Chặn post-tool có thể thay thế kết quả được hiển thị cho mô hình nhưng không thể hoàn tác một tác dụng phụ của công cụ đã xảy ra.

Harness	Verified blocking events	Observe-only or non-blocking caveats
Claude Code	`PreToolUse`, `UserPromptSubmit`, `PermissionRequest`, `Stop`, `SubagentStop`, `PreCompact`, and several task/config events	`PostToolUse`, session lifecycle, notifications, and post-failure events are observational.
Codex	`PreToolUse`, `PermissionRequest`, `UserPromptSubmit`, `Stop`, `SubagentStop`, `PostToolUse`	Post-tool blocking replaces the result after execution; session-start and compact events are observational in the current adapter.
GitHub Copilot CLI	`PreToolUse`, `UserPromptSubmit`, `PermissionRequest`, `Stop`, `SubagentStop`, `PostToolUse`	Post-tool blocking replaces the result after execution; session and notification events are observational.
Cursor	`PreToolUse`, `UserPromptSubmit`, `Stop`	`PostToolUse` and session events are observational.
OpenCode	`PreToolUse`	Post-tool and lifecycle events are observational; current stop handling is guidance for a later turn rather than a verified gate.
Pi	`PreToolUse`, `UserPromptSubmit`	Post-tool and lifecycle events are observational; stop guidance applies to a later turn.
Hermes	`PreToolUse`	A native plugin delivers `instruct()` as one bounded, model-visible interruption before permitting a later API iteration. Post-tool, session, and subagent-stop verdicts are not gates.
OpenClaw	`PreToolUse`, `UserPromptSubmit`, `Stop`	Post-tool, session, subagent-stop, and compaction events are observational.
Factory Droid	`PreToolUse`, `UserPromptSubmit`, `Stop`, `PreCompact`	Post-tool and subagent-stop verdicts are observational.
Devin CLI	`PreToolUse`, `UserPromptSubmit`, `Stop`, conditional `PermissionRequest`	Permission hooks do not run in every permission mode; post-tool and session events are observational.
Antigravity CLI	`PreToolUse`, `Stop`	User-prompt and post-tool verdicts are observational; prompt instructions can still be injected.
Goose	`PreToolUse`	User-prompt, post-tool, and session events are observational. A native blocking stop hook exists upstream but is not installed by the current adapter.

Khả năng phụ thuộc vào phiên bản. Kiểm tra lại sau khi nâng cấp một CLI của agent, đặc biệt khi một chính sách dựa vào hành vi prompt, stop, permission hoặc post-tool thay vì gate pre-tool phổ biến.

Hermes native plugin

Hermes được tích hợp thông qua một native plugin cục bộ theo hồ sơ thay vì một lệnh shell. Installation sao chép plugin vào mỗi hồ sơ Hermes mặc định và được đặt tên, cho phép nó trong config.yaml của hồ sơ đó, và chỉ di chuyển các mục hook shell FailproofAI cũ. Điều này tránh được việc spawn process trên mỗi hook và cho phép instruct() tiếp cận mô hình thông qua kết quả blocked-tool native của Hermes. Chỉ thị phù hợp đầu tiên sẽ chặn lệnh gọi đang chờ xử lý. Yêu cầu API giống nhau vẫn bị chặn; một lần lặp lại mô hình sau có thể thử lại. Một sổ cấp hồ sơ lâu dài và một lỗi trên mỗi lượt ngăn chặn một hướng dẫn tư vấn trở thành một vòng lặp không giới hạn. deny() vẫn là một hard block. Chạy failproofai config --status để phát hiện một hồ sơ bị tắt, không hoàn chỉnh, bị trùng lặp hoặc mới được cấu hình lại.

Install capture and policy hooks

Dashboard
CLI

Mở Administration → Keys và tạo một khóa với events:add và policies:pull, được đặt tên cho máy hoặc môi trường.
Trên máy đích, kết nối CLI cục bộ với khóa được hiển thị và cài đặt các hook harness.
Bắt đầu một phiên agent mới, sau đó xác nhận các sự kiện hook và session của nó dưới Observe → Events.
Mở Observe → policy cho cùng một cửa sổ thời gian và xác nhận một quyết định chính sách được gán cho máy.

Kết nối bắt đầu bằng một machine key. Xác nhận rằng nó bao gồm cả quyền ingestion và policy-delivery trước khi sao chép secret của nó.

The new API key drawer used to grant event ingestion and policy delivery permissions.

Sau khi cài đặt các hook, stream Events sẽ hiển thị các sự kiện mới từ máy và môi trường bạn đã kết nối.

The live Events stream used to confirm a newly installed harness is reporting.

Cuối cùng, xác minh rằng các quyết định chính sách được gán cho cùng một máy. Điều này xác nhận rằng harness đang báo cáo hoạt động chính sách cũng như trace events.

The Policy page used to verify policy decisions from a newly connected harness.

Đọc machine key vào shell. read -s sẽ nhận nó ở một prompt mà không hiển thị, vì vậy nó không bao giờ xuất hiện trong lệnh hoặc trong lịch sử shell:

read -rs FAILPROOFAI_CLOUD_TOKEN && export FAILPROOFAI_CLOUD_TOKEN

Sau đó thiết lập máy — điều này kết nối các hook cho mọi harness được phát hiện, cài đặt daemon và kết nối với Cloud:

failproofai config
failproofai policies add FailproofAI/policies

Setup không cho phép chính sách nào của nó riêng, đó là lý do tại sao lệnh thứ hai tồn tại.Hoặc nhắm mục tiêu các harness được đặt tên và một phạm vi cấu hình:

failproofai policies --install \
  --cli claude codex cursor \
  --scope user

Project scope giữ cấu hình hook với một repository. User scope bao quát công việc trên các repository. Claude Code cũng hỗ trợ local scope; hỗ trợ khác nhau theo harness và CLI từ chối các kết hợp không được hỗ trợ.Xác minh máy và các sự kiện của nó:

failproofai config --status
failproofai flush --wait
fp events --since 1h --event-type hook_triggered,hook_completed

Add a non-default session path

Dashboard
CLI

Các đường dẫn bổ sung được đăng ký trên máy, không phải trong Cloud. Sau khi thêm một đường dẫn, mở Observe → Sessions, lọc theo môi trường của máy và xác nhận các phiên từ đường dẫn mới xuất hiện. Mở một phiên và kiểm tra agent, harness và các dấu thời gian sự kiện trước khi dựa vào nó trong một audit.

The Sessions list filtered to the environment receiving data from the additional capture path.

Thêm một đường dẫn với một nhãn tùy chọn, sau đó kiểm tra các đường dẫn được cấu hình:

failproofai harness add-path claude checkout=/srv/checkout/.claude
failproofai harness list claude
failproofai backfill --since 7d --dry-run
failproofai backfill --since 7d

Xóa một đường dẫn bằng failproofai harness remove-path claude checkout.

Chạy một phiên mới sau khi cài đặt. Xác minh cả stream sự kiện trực tiếp và một quyết định chính sách thực tế trước khi mở rộng rollout.

​Enforcement capability

​Hermes native plugin

​Install capture and policy hooks

​Add a non-default session path

Enforcement capability

Hermes native plugin

Install capture and policy hooks

Add a non-default session path