Отслеживайте сигналы надёжности, важные для агента или рабочего процесса.
Панели мониторинга объединяют сохранённые запросы в операционное представление. Постройте её вокруг решения, которое, по вашему мнению, должен принять кто-то — а не вокруг каждой доступной метрики.
Перейдите в Analyze → Queries, создайте или откройте сохранённый запрос и проверьте его результат.
Выберите add to dashboard, затем выберите существующую панель или создайте новую в Analyze → Dashboards.
Откройте панель, перейдите в режим редактирования, расположите плитки и сохраните макет.
Вернитесь к запросу, когда потребуется изменить данные или фильтры позади плитки.
Операции CRUD для панелей мониторинга не доступны в текущем Cloud CLI. Используйте CLI для создания и проверки сохранённого запроса, а затем добавьте его на панель в интерфейсе.
Models: объём, задержка, использование токенов, частота ошибок и оценки.
Evaluations: процент успеха и тренды оценок по агентам или окружению.
Tools: объём вызовов, частота сбоев, длительность и повторные вызовы.
Hooks and policies: решения, отказы и процент совпадений по политикам.
Custom workflow metrics: результаты из ваших собственных полей событий и SQL.
Начните с сохранённого запроса, проверьте его результат, а затем добавьте его в виде плитки. Сделайте фильтры для production и development явными, чтобы тестовый трафик не скрыл регрессию.
Назначьте каждой панели мониторинга владельца и вопрос для ответа, например: «Надёжность checkout-agent хуже, чем на неделе назад?»
