Метрики производительности

Заметьте в тот же миг, когда модели, инструменты или хуки замедляются или начинают потреблять ресурсы, и перехватите скачок хвостовой задержки до того, как это почувствуют пользователи. Три отдельные страницы превращают сырые временные данные в p50, p95 и p99, которые можно оценить с первого взгляда. Страница Models: тепловая карта задержки, полоса процентилей и показатели токенов, расчётная стоимость и коэффициент заполнения контекстного окна.

​

Не позволяйте средним значениям скрывать ваши худшие прогоны

Средняя задержка — утешительна и бесполезна: она скрывает один из пятидесяти вызовов, который зависает и будит дежурного в 2 часа ночи. Страницы Models, Tools и Hooks этого не делают. Каждая имеет одинаковую структуру, поэтому вы разбираетесь один раз:

• 24-позиционная мини-диаграмма для тренда с первого взгляда: становится ли хуже?
• Полоса жизненно важных показателей с задержками p50, p95 и p99, чтобы типичный прогон и хвостовая часть сидели рядом.
• Тепловая карта задержки, 24 временных интервала на корзины задержек, показывающая, когда кластеризовались медленные вызовы.
• Полоса процентилей: линия p50 с затемнёнными лентами p25 до p75 и p10 до p90 и точками p99, чтобы разброс оставался видимым вместо усреднения.

Общий перекрестие при наведении связывает тепловую карту и полосу, поэтому скачок хвоста выравнивается во времени на обоих вместо того, чтобы скрываться за одной средней линией. Найдите все три страницы в разделе observe вашей панели управления, каждая ограничена вашей организацией и отфильтрована по диапазону дат, окружению, агенту и сеансу.

​

Models: узнайте точно, что каждая модель вам стоит

Страница Models (показана выше) отвечает на два вопроса, которые всегда возникают при получении счёта: какая модель и сколько. Поверх общего представления задержки она добавляет потребление токенов для каждой модели, расчётную стоимость и заполнение контекстного окна, чтобы неконтролируемый рост приглашения и предстоящее сжатие были видны до того, как они вас застанут врасплох. Failproof AI Observability автоматически распознаёт обычные ID моделей. Если окно выглядит неправильно или вы используете собственную приватную модель, исправьте это или добавьте её в разделе Settings, в model context windows, и показатели заполнения будут следовать за изменениями.

​

Tools: отличите медленное от сломанного

Вызов инструмента может быть медленным или тихо не работать, и вы хотите узнать, что именно происходит, за секунды, а не после раскопок в логах. Страница Tools: одна и та же тепловая карта и полоса процентилей, плюс разбивка по успехам и ошибкам и полоса распределения инструментов. Рядом с общим представлением задержки страница Tools добавляет разбивку по успехам и ошибкам и полосу распределения инструментов, чтобы вы видели с первого взгляда, какими инструментами вы больше всего пользуетесь и какие съедают ваш бюджет ошибок.

​

Hooks: точно определите нужный хук и триггер

Когда жизненный цикл хука замедляет прогон, фраза “хуки медленные” — это не то, на что вы можете действовать. Страница Hooks доставляет вас к тому, что имеет значение. Страница Hooks: задержка разбита по имени хука и событию-триггеру. На той же тепловой карте задержки и полосе процентилей страница Hooks разбивает активность по имени хука и событию-триггеру, чтобы вы сосредоточились на одном хуке и одном событии, требующих внимания.

​

Связанное

• Event stream: живая, цветовая кодировка всех событий.
• Sessions: свёртывает события в одну строку за прогон и открывает его граф выполнения.
• Error tracking: единая поверхность сортировки для всего, что панель управления отмечает красным.
• Dashboards: сводные представления для всего вашего флота.