Skip to main content
Результаты каждой оценки, размещённой на хосте или от вашего собственного обработчика, попадают в одни и те же места.

​
Сравнивайте оценки во времени

Перейдите в Observe → evaluations.
  • Recent runs перечисляет каждую оценку по мере её поступления: откуда она пришла — от размещённого (managed) или вашего собственного (customer) оценивателя, агент и сессию, оценку и её версию, статус и оценку или метрики.
  • Score over time строит график для выбранных вами данных. Выберите add series и укажите агент, окружение, оценку и статистику: avg, min, max, p50, p75, p90, p95, p99, stddev или mode. Каждый ряд — одна линия; задайте ей собственную curve, чтобы нарисовать её на отдельном графике. Страница оценок: недавние запуски с меткой customer, график оценок во времени со справочными линиями на 0.5 и 0.8, и один ряд, усредняющий finished_clean по всем агентам и окружениям.
Один диапазон времени и один размер интервала применяются ко всем рядам. Мелкий интервал помогает найти инцидент; крупный показывает тренд и может скрыть скачки, которые вы ищете. Интервал, где ничего не оценивалось — это разрыв в линии, никогда не нуль, а справочные линии отмечают 0.5 и 0.8.Каждая часть представления находится в URL: нажмите share, чтобы скопировать его, и любой, кто откроет ссылку, увидит ровно то сравнение, которое вы построили.
Визуализируйте avg и p90 для одной и той же оценки, чтобы увидеть, скрывает ли хорошее среднее плохой хвост, или одну и ту же оценку для двух агентов, или для production и staging, чтобы сравнить их на одной оси. Затраты, задержки и количество токенов, которые имеют единицы измерения, отображаются под Observe → metrics, один график на единицу.

​
Узнайте, почему сессия получила низкий балл

Откройте сессию из Observe → sessions; таблица содержит оценки каждой сессии и фильтрует по диапазону оценок. Правая панель сессии начинается с краткого резюме оценки, затем идёт полоса для каждой оценки с рассуждением оценивателя под ней. Представление деталей сессии, показывающее оценки и рассуждения оценивателя рядом с полной трассировкой.

​
Задавайте вопросы ассистенту

Спрашивайте об оценках на простом английском языке: “tell me about some of the recent evaluations” или какие оценки агентов понижаются. Ассистент читает и анализирует результаты и отвечает таблицами, на которые можно дать уточнение, а интересный вопрос можно сохранить как запрос или панель управления. Страница оценок рядом с ассистентом, который отвечает на "tell me about some of the recent evaluations" сводкой по итогам, статусам и оценкам.

​
Отслеживайте и действуйте

  • Dashboards, в разделе Analyze → dashboards, показывают тренды отобранных вами оценок по агентам и окружениям для всей организации. Панель качества, показывающая средние оценки и тренды во времени.
  • Alerts уведомляют вас, когда оценка пересекает порог. См. alerts.
  • Когда оценка падает по многим сессиям, запустите аудит, чтобы узнать причину; если причина — повторяющееся действие, напишите политику.