Оценки

Проблемы качества обнаруживаются автоматически, а не из жалоб пользователей. Подключите свой сервис оценки один раз, и FailproofAI Observability будет автоматически выставлять оценки каждому завершённому запуску. Так что падение полезности или всплеск галлюцинаций становятся видны сразу же, ещё до того, как об этом узнает клиент. Каждый запуск в сетке sessions содержит свои оценки; красные, жёлтые и зелёные бейджи сразу выделяют слабые запуски без необходимости открывать транскрипты.

​

Прекратите проверять запуски вручную

Раньше вы выборочно проверяли несколько запусков и надеялись, что остальные работают нормально. Теперь каждый завершённый сеанс оценивается сразу же после завершения по интересующим вас параметрам: полезность, эффективность использования инструментов, фактичность, безопасность — всё, что определяет ваш стандарт качества. Вы задаёте ключи оценок; FailproofAI Observability сохраняет, отслеживает и отображает всё, что вернёт ваш оценщик. Ни один запуск не остаётся без оценки, и вы не узнаёте о регрессии из письма в поддержку. Оценки отображаются в сетке sessions по адресу /<org-slug>/sessions (боковая панель → observe → sessions), по одному кластеру бейджей на строку. Хотите видеть только запуски, которые не прошли проверку? Отфильтруйте сетку по диапазону оценок, например полезность ниже 0.5, и получите ровно те запуски, которые стоит прочитать. Для просмотра оценок требуется разрешение evaluations:read.

​

Узнайте, почему запуск получил низкую оценку

Число говорит вам, что запуск слабый; страница сеанса объясняет почему. Откройте любой запуск, и правая панель покажет краткое резюме, а затем для каждого параметра выведет шкалу оценок с обоснованием вашего оценщика, так что вы сможете перейти от «это получило 0.4 по фактичности» к точному утверждению, которое было неправильным, за секунды. Подробный вид сеанса: резюме, шкалы оценок для каждого параметра и обоснование каждой оценки, прямо рядом с временной шкалой событий запуска. Запустили улучшенный оценщик или смотрите на запуск, который завершился до того, как мог быть оценён? Кнопка re-evaluate (доступна при наличии разрешения evaluations:trigger) переоценивает сеанс на месте и добавляет свежий результат в его временную шкалу, так что предыдущие оценки остаются видны как история. Вы найдёте её по адресу /<org-slug>/sessions/<session-id>.

​

Отслеживайте качество во всём парке запусков

Один низкий запуск — это шум; целая группа, скользящая вниз — это сигнал. Сохранённые панели мониторинга преобразуют ваши оценки в тренд, который вы можете отслеживать с первого взгляда: средняя полезность на этой неделе по сравнению с прошлой, по агенту, по окружению. Сохранённая панель мониторинга качества отслеживает ключи оценок, которые вы выбрали, так что медленный тренд становится очевиден задолго до того, как это перерастёт в инцидент. Панели мониторинга находятся по адресу /<org-slug>/dashboards (боковая панель → analyze → dashboards), общие для всей организации, и каждая карта агрегирует соответствующие сеансы: количество, среднее значение каждой отображаемой оценки и спарклайн тренда. «Open in sessions» переводит вас прямо на предварительно отфильтрованные запуски за любым числом. Для просмотра требуется разрешение dashboards:read плюс evaluations:read.

​

Подключите оценщик один раз

Оценка является опциональной функцией и полностью отключена до тех пор, пока вы не указываете FailproofAI Observability на оценщик. Вы создаёте небольшой HTTP-сервис (Observability поставляется с работающим эталоном, который вы можете скопировать), устанавливаете два значения на своём сервере, и с этого момента каждый запуск будет оцениваться для вас. Полное пошаговое руководство, контракт оценки и SDK находятся в подробном руководстве.

​

Связанное

• Evaluation suite: подключение оценщика, контракт оценки и SDK.
• Sessions: сетка запусков, где отображаются оценки.
• Dashboards: сохраняйте и делитесь трендами качества со своей организацией.
• Audits: другая автоматическая функция качества Observability для исследований между сеансами.