Skip to main content
코딩 에이전트에게 “오늘 뭔가 고장났나요?” 라고 물어보면, 명령어를 외울 필요 없이 실시간 Failproof AI Observability 데이터를 바탕으로 답을 받을 수 있습니다. Failproof AI Observability CLI 스킬 (agenteye-cli)은 에이전트 스킬입니다. Claude Code나 Codex 같은 코딩 에이전트가 필요할 때 불러오는 작은 인스트럭션 폴더로, “CI에 이벤트만 푸시할 수 있는 키를 만들어줘” 나 “발생 중인 인시던트를 ack하고 나한테 할당해줘” 같은 자연어 요청을 통해 agenteye CLI로 Observability 배포 환경을 조작하는 방법을 에이전트에게 가르쳐줍니다. 이것은 서비스나 별도의 바이너리가 아닙니다. 배포할 것이 없습니다. 이미 설치된 CLI 위에서 동작하며, 에이전트가 agenteye --json …을 실행하고 깔끔한 JSON을 파싱한 뒤 산문 형태로 답변해줍니다. 에이전트가 할 수 있는 모든 것은 여러분이 직접 같은 명령어를 입력해도 할 수 있는 것들입니다.

​
다른 Failproof AI Observability 인터페이스와의 관계

Failproof AI Observability는 동일한 데이터와 컨트롤에 접근할 수 있는 네 가지 방법을 제공합니다. 이들은 서로 보완적입니다. 스킬 자체에는 아무런 권한이 없습니다. 여러분의 말을 CLI 호출로 변환해줄 뿐이며, 호출은 여러분 권한으로 실행됩니다.

​
대시보드 내 AI 어시스턴트와의 차이: 중요한 구분

이 둘은 영향 범위가 매우 다른 별개의 도구입니다.
  • 대시보드 내 AI 어시스턴트 (AI 어시스턴트)는 에이전트 서비스를 기반으로 대시보드에 내장된 채팅입니다. 읽기 전용 + 승인 게이트 방식의 저작: 저장된 쿼리와 대시보드를 초안으로 작성할 수 있지만, 모든 쓰기 작업은 사용자의 명시적 클릭 승인이 필요하며 절대 삭제하지 않습니다. agent:use 권한으로 게이트되어 있으며, 현재 보고 있는 조직의 데이터만 접근할 수 있습니다.
  • CLI 스킬은 여러분의 워크스테이션에서 여러분의 코딩 에이전트 안에서 실행되며, agenteye CLI를 여러분 권한으로 구동합니다. API 키 생성/교체/비활성화, 조직 설정 변경, 인시던트 해결, 저장된 쿼리 삭제 등 뮤테이션을 포함한 CLI의 전체 기능을 수행할 수 있으며, CLI 로그인의 권한 범위 내에서만 제한됩니다. 해당 명령어를 직접 입력하는 것과 동일한 수준의 주의를 기울여 다루세요.

​
사전 요구사항

  1. agenteye CLI 설치 및 PATH 등록 (CLI 레퍼런스 참고: pipx install agenteye)
  2. 대시보드 URL 설정 (AGENTEYE_DASHBOARD_URL 환경 변수 또는 에이전트가 --base-url 전달)
  3. 로그인된 세션: 먼저 직접 agenteye login을 실행하세요. 스킬은 이메일로 전송되는 일회용 코드 로그인을 대신 완료할 수 없습니다. 세션이 없거나 만료된 경우 (CLI 종료 코드 4) agenteye login을 실행하라고 안내합니다.

​
다운로드 위치

스킬은 Failproof AI의 공개 스킬 컬렉션에 게시되어 있습니다. github.com/FailproofAI/skills → skills/agenteye-cli/ 접근에 아무런 제한이 없습니다. 저장소는 공개되어 있고, 스킬은 자체 자격 증명이 필요 없습니다. 여러분이 로그인한 세션을 사용해 공개 agenteye CLI를 여러분의 대시보드에 연결할 뿐이기 때문입니다. 별도로 요청할 필요가 없습니다. 스킬은 별도 폴더로 제공되며, pipx install agenteye 패키지 내부에 포함되어 있지 않으므로 거기서 찾지 마세요.

​
스킬 설치

가장 빠른 방법은 skills CLI를 사용하는 것입니다. 폴더를 가져와서 에이전트가 찾는 위치에 저장해줍니다.
이후 다른 스킬과 동일하게 관리할 수 있습니다.
직접 설치하고 싶으신가요? 에이전트 스킬은 SKILL.md(와 선택적 레퍼런스 파일)가 들어 있는 폴더일 뿐이므로, 복사해서 사용해도 됩니다.
  • Claude Code: agenteye-cli/ 폴더를 ~/.claude/skills/(모든 프로젝트) 또는 <your-repo>/.claude/skills/(해당 저장소만)에 넣으세요. Claude Code가 자동으로 감지합니다. /skills 목록으로 확인하거나, 설명과 일치하는 질문을 직접 해보세요.
  • Codex (OpenAI): Codex도 동일한 SKILL.md를 읽습니다. 번들로 제공되는 agents/openai.yaml에 allow_implicit_invocation: true가 설정되어 있어 작업이 일치하면 Codex가 자동으로 스킬을 선택합니다. 명시적으로 호출하려면 $agenteye-cli를 사용하세요.

​
안전 주의사항: 에이전트가 CLI를 실행할 때 뮤테이션은 확인 프롬프트가 나타나지 않습니다

경고: 에이전트가 변경 작업을 수행하도록 허용하기 전에 반드시 읽으세요.
agenteye CLI는 일반적으로 파괴적 작업 전에 “정말 하시겠습니까?” 라고 물어봅니다. 그러나 터미널에 연결되어 있지 않을 때(코딩 에이전트가 실행하는 방식이 정확히 이 경우입니다)는 해당 확인을 자동으로 건너뛰며, --json도 마찬가지로 건너뜁니다. 따라서 에이전트에게는 안전 프롬프트가 표시되지 않습니다. 스킬은 이를 보완하도록 작성되어 있습니다. 실행할 정확한 명령어를 명시하고, 상태를 변경하기 전에 반드시 명시적으로 OK를 받도록 지시받았습니다. 이 규칙을 지켜주세요. 에이전트를 통해 Failproof AI Observability를 조작할 때는, 여러분이 확인 단계입니다. 주의해야 할 상태 변경 명령어들:
  • keys create / update / disable / regenerate
  • users create / update / disable / enable
  • settings set
  • alerts create / update / delete / test
  • 쓰기 incidents 서브커맨드: ack / assign / resolve / open / comment-add / comment-delete / subscribe / unsubscribe
  • query create / update / delete
  • agent rename / delete
  • orgs switch
Observe 하위의 모든 것(events, sessions, evals, errors, list, whoami, orgs list/current/perms)은 읽기 전용이며 아무것도 변경하지 않습니다. 에이전트는 여러분 권한으로 동작하므로, 여러분의 로그인이 허용된 작업만 수행할 수 있습니다. 권한은 조직별로 확인됩니다 (API 키 참고). 권한이 없는 명령어는 정확한 권한 이름과 함께 종료 코드 5를 반환하므로, 에이전트가 불명확하게 실패하는 대신 어드민에게 무엇을 요청해야 하는지 정확히 알려줄 수 있습니다.

​
요청 예시

실제 대화 흐름의 예시입니다. 읽기 작업과 확인을 기다리는 변경 작업이 포함되어 있습니다.
스킬은 자연어 의도를 적절한 agenteye 명령어로 매핑하고, 추측하지 않기 위해 먼저 유효한 값을 조회(list <kind>, whoami)한 뒤, 변경 전에 정확한 명령어를 명시합니다. 더 많은 예시:
  • “최근 24시간 동안 고장났거나 실패한 게 있나요?” → errors --since 24h --aggregate 후 세부 분석
  • “세션 run-001이 왜 실패했나요?” → events --session-id run-001 --all + evals --session-id run-001
  • “이번 주 품질 트렌드는 어떤가요?” → evals --aggregate --since 7d 후 낮은 점수의 실행 드릴다운
  • “CI에 이벤트만 푸시할 수 있는 키를 만들어줘.” → keys create ci --add events:add (명령어를 명시한 뒤 생성하고 일회성 시크릿 캡처)
  • “누가 접근 권한이 있나요? Dana를 읽기 전용으로 변경해줘.” → users list → 여러분에게 확인 후 users update dana@… --permission-set read-only
  • “발생 중인 인시던트를 ack하고 나한테 할당해줘.” → incidents list --state firing → incidents ack <id> / incidents assign <id> you@…
이 작업들 뒤에 있는 정확한 명령어, 플래그, JSON 형태는 CLI 레퍼런스와 에이전트를 위한 CLI 레시피를 참고하세요.

​
다음 단계