에이전트 하네스 - Failproof AI

하네스(harness)는 에이전트가 실제로 실행되는 환경을 의미합니다. Failproof AI는 두 가지 유형으로 나뉘는 12가지 하네스를 지원합니다.

코딩 CLI (10개) — Claude Code, Codex, GitHub Copilot CLI, Cursor, OpenCode, Pi, Factory Droid, Devin CLI, Antigravity CLI, Goose
채팅 및 어시스턴트 게이트웨이 (2개) — Hermes (Slack, Telegram, cron), OpenClaw (셀프 호스팅 어시스턴트)

에이전트가 어떤 하네스에서 실행되든 동일한 정책과 동일한 세션 기록이 적용됩니다. 어댑터 레이어 하나가 각 하네스의 고유 이벤트 이름, 툴 이름, 툴 입력 필드를 정책 실행 전에 29개의 표준 이벤트로 매핑합니다. 12가지 하네스 중 어느 것도 사용하지 않는 에이전트는 Python SDK를 통해 직접 계측됩니다. 이 경우에는 계약 내용이 다르므로 명확히 짚어 둘 필요가 있습니다. SDK는 트레이싱, 세션, 평가 및 감사를 제공하지만 정책을 자체적으로 적용하지는 않습니다. 실행 전에 안전하지 않은 작업을 차단하려면 런타임의 툴 경계에 실행 훅이 필요합니다. 문의하기를 통해 연락주시면 매핑을 도와드리겠습니다.

하네스	지원되는 훅 스코프
Claude Code	User, project, local
Codex, GitHub Copilot CLI, Cursor, OpenCode, Pi	User, project
Factory Droid, Devin CLI, Antigravity CLI, Goose	User, project
Hermes, OpenClaw	User

각 통합은 정책 실행 전에 고유 훅 이벤트 이름, 툴 이름, 툴 입력 필드를 정규화합니다. 정책은 해당 하네스가 노출하는 이벤트에만 작동할 수 있으므로, 실제로 배포하는 하네스와 버전에서 턴 종료 및 명령 동작을 직접 테스트하세요.

적용 기능

“차단(Block)“이란 현재 어댑터가 반환한 판정을 해당 하네스가 소비함을 의미합니다. 툴 사후 차단은 모델에 표시되는 결과를 대체할 수 있지만, 이미 발생한 툴 부작용을 되돌릴 수는 없습니다.

하네스	검증된 차단 이벤트	관찰 전용 또는 비차단 주의 사항
Claude Code	`PreToolUse`, `UserPromptSubmit`, `PermissionRequest`, `Stop`, `SubagentStop`, `PreCompact`, 그 외 여러 태스크/설정 이벤트	`PostToolUse`, 세션 라이프사이클, 알림, 실패 후 이벤트는 관찰용입니다.
Codex	`PreToolUse`, `PermissionRequest`, `UserPromptSubmit`, `Stop`, `SubagentStop`, `PostToolUse`	툴 사후 차단은 실행 후 결과를 대체합니다. 세션 시작 및 compact 이벤트는 현재 어댑터에서 관찰용입니다.
GitHub Copilot CLI	`PreToolUse`, `UserPromptSubmit`, `PermissionRequest`, `Stop`, `SubagentStop`, `PostToolUse`	툴 사후 차단은 실행 후 결과를 대체합니다. 세션 및 알림 이벤트는 관찰용입니다.
Cursor	`PreToolUse`, `UserPromptSubmit`, `Stop`	`PostToolUse` 및 세션 이벤트는 관찰용입니다.
OpenCode	`PreToolUse`	툴 사후 및 라이프사이클 이벤트는 관찰용입니다. 현재 stop 처리는 검증된 게이트가 아닌 다음 턴에 대한 안내입니다.
Pi	`PreToolUse`, `UserPromptSubmit`	툴 사후 및 라이프사이클 이벤트는 관찰용입니다. stop 안내는 다음 턴에 적용됩니다.
Hermes	`PreToolUse`	툴 사후, 세션, 서브에이전트 stop 판정은 게이트 역할을 하지 않습니다.
OpenClaw	`PreToolUse`, `UserPromptSubmit`, `Stop`	툴 사후, 세션, 서브에이전트 stop, compaction 이벤트는 관찰용입니다.
Factory Droid	`PreToolUse`, `UserPromptSubmit`, `Stop`, `PreCompact`	툴 사후 및 서브에이전트 stop 판정은 관찰용입니다.
Devin CLI	`PreToolUse`, `UserPromptSubmit`, `Stop`, 조건부 `PermissionRequest`	권한 훅은 모든 권한 모드에서 실행되지 않습니다. 툴 사후 및 세션 이벤트는 관찰용입니다.
Antigravity CLI	`PreToolUse`, `Stop`	사용자 프롬프트 및 툴 사후 판정은 관찰용입니다. 프롬프트 명령은 여전히 주입될 수 있습니다.
Goose	`PreToolUse`	사용자 프롬프트, 툴 사후, 세션 이벤트는 관찰용입니다. 업스트림에 네이티브 차단 stop 훅이 존재하지만 현재 어댑터에서는 설치되지 않습니다.

기능은 버전에 따라 달라질 수 있습니다. 특히 정책이 공통 사전 툴 게이트가 아닌 프롬프트, stop, 권한, 또는 툴 사후 동작에 의존하는 경우, 에이전트 CLI 업그레이드 후 재테스트하세요.

캡처 및 정책 훅 설치

대시보드
CLI

Administration → Keys를 열고 해당 머신 또는 환경 이름으로 events:add 및 policies:pull 권한이 있는 키를 생성합니다.
대상 머신에서 표시된 키로 로컬 CLI를 연결하고 하네스 훅을 설치합니다.
새 에이전트 세션을 시작한 후, Observe → Events에서 훅과 세션 이벤트를 확인합니다.
동일한 시간 범위에서 Observe → policy를 열고 해당 머신에 정책 결정이 귀속되는지 확인합니다.

연결은 머신 키로 시작됩니다. 시크릿을 복사하기 전에 인제스션 및 정책 전달 권한이 모두 포함되어 있는지 확인하세요.

이벤트 인제스션 및 정책 전달 권한을 부여하는 데 사용되는 새 API 키 드로어.

훅을 설치한 후, Events 스트림에서 연결한 머신과 환경의 새 이벤트가 표시되어야 합니다.

새로 설치된 하네스가 보고 중인지 확인하는 데 사용되는 실시간 Events 스트림.

마지막으로, 정책 결정이 동일한 머신에 귀속되는지 확인합니다. 이를 통해 하네스가 트레이스 이벤트뿐만 아니라 정책 활동도 보고하고 있음을 확인할 수 있습니다.

새로 연결된 하네스의 정책 결정을 확인하는 데 사용되는 Policy 페이지.

감지된 모든 하네스에 훅을 설치합니다:

failproofai config \
  --connect https://app.befailproof.ai \
  --token <machine-key>
failproofai policies --install

또는 특정 하네스와 설정 스코프를 지정합니다:

failproofai policies --install \
  --cli claude codex cursor \
  --scope user

Project 스코프는 훅 설정을 저장소와 함께 유지합니다. User 스코프는 저장소 전반의 작업을 포괄합니다. Claude Code는 local 스코프도 지원하며, 지원 여부는 하네스에 따라 다르고 CLI는 지원되지 않는 조합을 거부합니다.머신과 이벤트를 확인합니다:

failproofai config --status
failproofai flush --wait
fp events --since 1h --event-type hook_triggered,hook_completed

기본값이 아닌 세션 경로 추가

대시보드
CLI

추가 경로는 Cloud가 아닌 머신에 등록됩니다. 경로를 추가한 후 Observe → Sessions를 열고 해당 머신의 환경으로 필터링하여 새 경로의 세션이 표시되는지 확인하세요. 감사에 활용하기 전에 세션을 열어 에이전트, 하네스, 이벤트 타임스탬프를 확인하세요.

추가 캡처 경로에서 데이터를 수신 중인 환경으로 필터링된 Sessions 목록.

선택적 레이블과 함께 경로를 추가하고, 설정된 경로를 확인합니다:

failproofai harness add-path claude checkout=/srv/checkout/.claude
failproofai harness list claude
failproofai backfill --since 7d --dry-run
failproofai backfill --since 7d

failproofai harness remove-path claude checkout 명령으로 경로를 제거합니다.

설치 후 새 세션을 하나 실행하세요. 롤아웃을 확대하기 전에 실시간 이벤트 스트림과 실제 정책 결정을 모두 확인하세요.

​적용 기능

​캡처 및 정책 훅 설치

​기본값이 아닌 세션 경로 추가

적용 기능

캡처 및 정책 훅 설치

기본값이 아닌 세션 경로 추가