Habilidad del Agente Evaluador de Observabilidad de Failproof AI

​

La parte difícil es decidir qué puntuar

​

Su relación con las demás piezas de evaluación

​

vs. la habilidad CLI: construir versus leer

• agenteye-evaluator (este doc) construye la cosa que produce puntuaciones. Su trabajo termina cuando las puntuaciones aparecen por primera vez.
• agenteye-cli lee las puntuaciones que ya existen (agenteye evals). «¿Bajó la calidad esta semana?» es su pregunta, no la de esta habilidad.

​

Requisitos previos

1. La CLI agenteye instalada e iniciada sesión (pipx install agenteye, luego agenteye login). La habilidad la utiliza en dos momentos: para obtener las sesiones reales con las que diseña, y para confirmar que tus puntuaciones llegaron al final. Tu sesión necesita events:read, más evaluations:read para esa verificación final. Al igual que con la habilidad CLI, no puede completar el inicio de sesión con código de un solo uso enviado por correo electrónico en tu lugar.
2. Un lugar donde alojar el evaluador. Se construye como una imagen y se ejecuta como un servicio de larga duración, por lo que necesita un repositorio real, no un archivo temporal. Los evaluadores suelen vivir en su propio repositorio, separado del agente que se está puntuando — la habilidad busca uno existente y pregunta antes de crear un andamiaje nuevo.
3. El wheel del SDK agenteye-evaluator — lee la siguiente sección antes de dejar que tu agente empiece a escribir comandos pip.

​

Dónde conseguirla

​

Instalación de la habilidad

# Claude Code, solo este proyecto
npx skills add FailproofAI/skills --skill agenteye-evaluator -a claude-code

# todos los proyectos (instala en ~/.claude/skills/)
npx skills add FailproofAI/skills --skill agenteye-evaluator -a claude-code -g --copy

# Codex en su lugar
npx skills add FailproofAI/skills --skill agenteye-evaluator -a codex

npx skills list -a claude-code           # qué está instalado
npx skills update agenteye-evaluator     # obtener la última versión
npx skills remove agenteye-evaluator     # eliminarla

• Claude Code: coloca la carpeta agenteye-evaluator/ en ~/.claude/skills/ (todos los proyectos) o en <tu-repo>/.claude/skills/ (solo ese repositorio). Claude Code la descubre automáticamente — verifica con la lista /skills, o simplemente pide evaluaciones.
• Codex (OpenAI): Codex lee el mismo SKILL.md. El archivo incluido agents/openai.yaml establece allow_implicit_invocation: true, por lo que Codex selecciona la habilidad automáticamente cuando una tarea coincide; de lo contrario, invócala explícitamente como $agenteye-evaluator.

​

El SDK no está en PyPI público

Advertencia: Lee esto antes de dejar que un agente instale el SDK.

​

Qué puedes pedirle

tú    ▸ Quiero evaluaciones para nuestro bot de soporte. Creo que a veces falla.

agente▸ Antes de escribir nada: describe una ejecución que salió bien,
        y una que salió mal.

tú    ▸ Bien: responde a partir de la documentación. Mal: se inventa cosas,
        o se rinde y dice "contacta con soporte".

agente▸ Ejecutando: agenteye --json sessions --status error --since 7d
        Leyendo 5 sesiones, incluyendo dos que considerarías malas.

        Tus palabras dicen veracidad y evasión. Las transcripciones
        coinciden en evasión (2 de 5 terminan con una derivación a soporte,
        y es evidente en model_response.content), pero la veracidad
        necesita una verdad de base que tus eventos no contienen.

        Así que puntuaría tres cosas:
          - deflection      reglas, barato, separa tus dos ejecuciones
          - tool_efficiency reglas, detecta el bucle de reintentos en run-004
          - groundedness    juez LLM: ¿cada afirmación está en los docs que recuperó?

        "factuality" necesitaría una verdad de base que no tenemos; groundedness
        es lo más cercano que tus transcripciones pueden respaldar realmente.
        ¿De acuerdo con esos tres nombres? Renombrar después divide el historial.

tú    ▸ sí

agente▸ No hay evaluador en este repositorio. ¿Debo crear el andamiaje aquí, o
        tienes uno en otro lugar?

​

Qué tener en cuenta

• Los nombres de las dimensiones son casi permanentes. Las claves de puntuación son cadenas arbitrarias y la plataforma traza tendencias de lo que envíes, lo que significa que nada en el downstream corrige una mala elección. Renombrar después divide el historial: las sesiones antiguas conservan la clave antigua y la tendencia se rompe. Por eso la habilidad obtiene una aprobación explícita antes de escribir código — tómate ese aviso en serio.
• Los fixtures son transcripciones reales de producción. Diseñar contra sesiones reales implica descargarlas al disco, y pueden contener datos de clientes. La habilidad pregunta antes de agregarlos a git; en caso de duda, mantén fixtures/ fuera del repositorio y pide a cada desarrollador que descargue las suyas propias.
• El agente escribe y despliega un servicio que lee cada transcripción. Actúa como tú, acotado por los permisos de tu sesión de CLI, pero revisa el evaluador como cualquier otro código que toque datos de producción.

​

Próximos pasos

• Suite de evaluación: el contrato HTTP, el SDK y las variables de entorno del servidor que configura la habilidad.
• Evaluaciones: dónde aparecen las puntuaciones una vez que llegan.
• Habilidad CLI: la habilidad hermana, para leer resultados en lugar de construir el puntuador.
• CLI: la referencia de comandos detrás de los datos de sesión con los que la habilidad diseña.