Evaluation Suite

Примечание: Вы определяете параметры оценки. Ваш оценивающий сервис может возвращать любые числовые ключи; Observability сохраняет, отслеживает и отображает всё, что вы отправляете.

​

Кратко

1. Напишите оценивающий сервис. Создайте небольшой HTTP-сервис, который читает транскрипт сессии и возвращает оценки. Observability поставляется с рабочим примером, который вы можете скопировать. См. Написание оценивающего сервиса с SDK.
2. Укажите Observability на него. Установите EVALUATOR_ENDPOINT (и общий EVALUATOR_TOKEN) на процесс сервера.
3. Смотрите, как появляются оценки. Каждая завершённая сессия автоматически оценивается; результаты отображаются на странице деталей сессии, в сетке сессий и на сохранённых панелях.

​

Как это работает

• Вернуть результат сразу с {"status":"done", "scores":{...}, "reasoning":{...}, "summary":"..."}. Результат добавляется в временную линию оценок сессии. reasoning и summary опциональны.
• Отложить с {"status":"pending", "job_id":"abc-123"}. Observability затем вызывает GET {EVALUATOR_ENDPOINT}/evaluate/abc-123 до тех пор, пока ваш оценивающий сервис не вернёт {"status":"done", ...} или {"status":"error", "error":"..."}. Интервал опроса зависит от задачи: ответ pending может включать next_poll_secs для переопределения; в противном случае Observability использует значение default_poll_interval_secs из GET /config; если его нет, сервер использует EVALUATOR_POLLING_INTERVAL_SECS (по умолчанию 10 сек). Все значения ограничиваются диапазоном [1 сек, 1 ч].

​

HTTP контракт

• Сервер Observability: переменная окружения EVALUATOR_TOKEN
• Сервис оценки: настроен аналогично (SDK agenteye-evaluator по соглашению читает EVALUATOR_TOKEN)

​

Маршруты, которые должен обслуживать оценивающий сервис

​

Тело EvalRequest, отправляемое сервером

{
  "schema_version": "1",
  "session_id":     "session-abc123",
  "agent_id":       "planner",
  "environment":    "production",
  "started_at":     "2026-05-10T12:00:00Z",
  "ended_at":       "2026-05-10T12:05:00Z",
  "events": [
    { "id": 1234, "ts": "...", "event_type": "agent_start", "payload": { ... } },
    ...
  ]
}

​

Формы ответов

{
  "status": "done",
  "scores": { "helpfulness": 0.85, "tool_efficiency": 0.6 },
  "reasoning": {
    "helpfulness": "answered the question directly with citations",
    "tool_efficiency": "called list_files three times when one would have done"
  },
  "summary": "strong answer quality, weak tool selection"
}

{ "status": "pending", "job_id": "abc-123", "next_poll_secs": 30 }

{ "status": "error", "error": "model service unavailable" }

​

Написание оценивающего сервиса с SDK

import os
from agenteye_evaluator import Evaluator, EvalRequest, EvalResponse

app = Evaluator(token=os.environ["EVALUATOR_TOKEN"])

@app.evaluator
def run(req: EvalRequest) -> EvalResponse:
    # Inspect req.events (the full session transcript) and return scores.
    tool_calls = sum(1 for e in req.events if e.event_type == "tool_use")
    return EvalResponse(
        scores={"tool_calls": float(tool_calls)},
        reasoning={"tool_calls": f"{tool_calls} tool invocations in the transcript"},
        summary="tight tool loop" if tool_calls < 5 else "agent looped on tools",
    )

​

Запуск вашего оценивающего сервиса

​

Настройка сервера

​

Справочник API

​

Фильтрация по диапазону оценок: score_filters

# helpfulness в [0.5, 0.8]
GET /evaluations?score_filters=helpfulness:0.5..0.8

# tool_efficiency максимум 0.3 (без нижней границы)
GET /evaluations?score_filters=tool_efficiency:..0.3

# helpfulness >= 0.5 И factuality >= 0.9
GET /evaluations?score_filters=helpfulness:0.5..,factuality:0.9..

​

Разрешения

​

Просмотр результатов

• /sessions/<id>: временная линия событий + правая панель, отображающая оценки сессии и любую ошибку попытки отправки. Если ваш ключ имеет evaluations:trigger, кнопка переоценить появляется рядом с кнопкой экспорта, полезно для сессий, которые никогда не генерировали agent_end, или для обновления оценок после развёртывания нового оценивающего сервиса. Панель опрашивает новый результат и обновляет правую панель когда он приходит.
• /sessions: фильтруемая сетка сессий; столбец оценок показывает статус оценки каждой сессии и оценки с первого взгляда.
• /dashboards: сохранённые представления здоровья оценок (см. Dashboards ниже).

​

Dashboards

• Filters: те же элементы управления, что на странице сессий: окружение, статус, агент, скользящее окно времени и фильтры диапазонов оценок (key:min..max).
• Конфигурацию отображения: какие ключи оценок выделить, пороги здоровья зелёный/янтарный/красный, какие панели показывать и сворачивать ли на самую последнюю оценку для каждой сессии.

​

Решение проблем

​

Следующие шаги

• Evaluator agent skill: попросите кодирующего агента спроектировать ваши параметры на основе реальных сессий и построить для вас этот сервис.
• Python SDK: генерируйте события agent_end, которые запускают оценку.
• API keys: разрешения evaluations:read и evaluations:trigger.
• Audits: другая автоматизированная функция качества Observability для проверки на основе политик.