Habilidad de Agente Evaluador de Observabilidad de Failproof AI

​

La parte difícil es decidir qué puntuar

​

Cómo se relaciona con las otras piezas de evaluación

​

vs. la CLI skill: construir frente a leer

• agenteye-evaluator (este doc) construye lo que produce puntuaciones. Su trabajo termina cuando las puntuaciones llegan por primera vez.
• agenteye-cli lee las puntuaciones que ya existen (agenteye evals). «¿Bajó la calidad esta semana?» es su pregunta, no la de esta habilidad.

​

Requisitos previos

1. La CLI agenteye instalada y con sesión iniciada (pipx install agenteye, luego agenteye login). La habilidad la utiliza en dos momentos: para extraer las sesiones reales sobre las que diseña, y para confirmar que tus puntuaciones llegaron al final. Tu sesión necesita events:read, más evaluations:read para esa verificación final. Al igual que con la CLI skill, no puede completar el inicio de sesión con código de un solo uso enviado por correo electrónico en tu lugar.
2. Un lugar donde alojar el evaluador. Se construye en una imagen y se ejecuta como un servicio de larga duración, por lo que necesita un repositorio real, no un archivo temporal. Los evaluadores suelen vivir en su propio repositorio, separado del agente que se puntúa — la habilidad busca uno existente y pregunta antes de crear uno nuevo.
3. La rueda del SDK agenteye-evaluator — lee la siguiente sección antes de que tu agente empiece a escribir comandos pip.

​

Dónde obtenerla

​

Instalación de la habilidad

# Claude Code, solo este proyecto
npx skills add FailproofAI/skills --skill agenteye-evaluator -a claude-code

# todos los proyectos (instala en ~/.claude/skills/)
npx skills add FailproofAI/skills --skill agenteye-evaluator -a claude-code -g --copy

# Codex en su lugar
npx skills add FailproofAI/skills --skill agenteye-evaluator -a codex

npx skills list -a claude-code           # qué hay instalado
npx skills update agenteye-evaluator     # descargar la última versión
npx skills remove agenteye-evaluator     # eliminarla

• Claude Code: coloca la carpeta agenteye-evaluator/ en ~/.claude/skills/ (todos los proyectos) o <tu-repo>/.claude/skills/ (solo ese repositorio). Claude Code la detecta automáticamente — verifícalo con la lista /skills, o simplemente pide evaluaciones.
• Codex (OpenAI): Codex lee el mismo SKILL.md. El archivo agents/openai.yaml incluido establece allow_implicit_invocation: true, por lo que Codex selecciona la habilidad automáticamente cuando una tarea coincide; de lo contrario, invócala explícitamente como $agenteye-evaluator.

​

El SDK no está en el PyPI público

Advertencia: Lee esto antes de dejar que un agente instale el SDK.

​

Qué puedes pedirle

tú    ▸ Quiero evaluaciones para nuestro bot de soporte. Creo que a veces falla.

agente▸ Antes de escribir nada: describe una ejecución que salió bien,
        y una que salió mal.

tú    ▸ Bien: responde desde la documentación. Mal: se inventa cosas,
        o se rinde y dice «contacta con soporte».

agente▸ Ejecutando: agenteye --json sessions --status error --since 7d
        Leyendo 5 sesiones, incluyendo dos que considerarías malas.

        Tus palabras dicen factualidad y evasión. Las transcripciones
        coinciden en evasión (2 de 5 terminan con una derivación a soporte,
        y es evidente en model_response.content), pero factualidad
        necesita una verdad de referencia que tus eventos no contienen.

        Así que puntuaría tres cosas:
          - deflection      reglas, barato, separa tus dos ejecuciones
          - tool_efficiency reglas, detecta el bucle de reintentos en run-004
          - groundedness    juez LLM: ¿cada afirmación está en los docs recuperados?

        «factuality» necesitaría una verdad de referencia que no tenemos; groundedness
        es lo más cercano que tus transcripciones pueden realmente sustentar.
        ¿De acuerdo con esos tres nombres? Renombrar después divide el historial.

tú    ▸ sí

agente▸ No hay evaluador en este repositorio. ¿Debería crear uno aquí, o
        tienes uno en otro lugar?

​

Qué tener en cuenta

• Los nombres de dimensión son casi permanentes. Las claves de puntuación son cadenas arbitrarias y la plataforma muestra tendencias de lo que envíes, lo que significa que nada en sentido descendente corrige una mala elección. Renombra después y el historial se divide: las sesiones antiguas conservan la clave antigua y la tendencia se rompe. Por eso la habilidad obtiene aprobación explícita antes de escribir código — tómate ese paso en serio.
• Los fixtures son transcripciones reales de producción. Diseñar a partir de sesiones reales implica descargarlas al disco, y pueden contener datos de clientes. La habilidad pregunta antes de confirmarlas en git; en caso de duda, mantén fixtures/ fuera del repositorio y haz que cada desarrollador descargue las suyas propias.
• El agente escribe y despliega un servicio que lee cada transcripción. Actúa como tú, acotado por los permisos de tu sesión en la CLI, pero revisa el evaluador como cualquier otro código que toca datos de producción.

​

Próximos pasos

• Evaluation suite: el contrato HTTP, el SDK y las variables de entorno del servidor que configura la habilidad.
• Evaluations: donde aparecen las puntuaciones una vez que llegan.
• CLI skill: la habilidad hermana, para leer resultados en lugar de construir el evaluador.
• CLI: la referencia de comandos detrás de los datos de sesión sobre los que la habilidad diseña.