Метрики производительности

Увидьте мгновенно, когда ваши модели, инструменты или хуки замедляются или наращивают расходы, и поймите скачок latency в хвосте распределения прежде, чем это почувствуют ваши пользователи. Три отдельные страницы преобразуют сырые временные данные в p50, p95 и p99, которые вы можете оценить с первого взгляда. Страница Models: тепловая карта latency, полоса процентилей и показатели токенов, примерная стоимость и заполнение контекстного окна для каждой модели.

​

Перестаньте позволять средним значениям скрывать ваши худшие запуски

Среднее значение latency — это утешительная и бесполезная цифра: она сглаживает один вызов из пятидесяти, который зависает и буквально будит дежурного в 2 часа ночи. Страницы Models, Tools и Hooks так не работают. Каждая имеет одинаковую структуру, так что вы учитесь один раз:

• 24-секционный спарклайн для оценки тренда с первого взгляда: это становится хуже?
• полоса жизненных показателей с latency p50, p95 и p99, чтобы типичный запуск и хвост располагались рядом.
• тепловая карта latency, 24 временных секции на бакеты latency, которая показывает, когда кластеризовались медленные вызовы.
• полоса процентилей: линия p50 с затемненными лентами p25-p75 и p10-p90, а также точками p99, чтобы разброс оставался видимым вместо того, чтобы быть усреднённым.

Общая сетка при наведении связывает тепловую карту и полосу, поэтому скачок в хвосте выравнивается во времени на обеих вместо того, чтобы скрыться за одной средней линией. Найдите все три страницы в разделе observe вашей панели инструментов, каждая охватывает вашу организацию и может быть отфильтрована по диапазону дат, окружению, агенту и сеансу.

​

Models: посмотрите точно, что вам стоит каждая модель

Страница Models (показанная выше) отвечает на два вопроса, которые всегда возникают при просмотре счёта: какая модель и сколько стоит. Поверх общего представления latency она добавляет потребление токенов для каждой модели, примерную стоимость и заполнение контекстного окна, чтобы неконтролируемый рост промптов и предстоящая компактификация были видны до того, как они вас удивят. FailproofAI Observability автоматически распознаёт общие ID моделей. Если окно выглядит неправильно или вы используете собственную приватную модель, исправьте её или добавьте в разделе Settings, в model context windows, и показания заполнения будут обновлены.

​

Tools: отличите медленное от сломанного

Вызов инструмента может быть медленным или тихо не работать, и вы хотите узнать это за секунды, а не после погружения в логи. Страница Tools: та же тепловая карта и полоса процентилей, плюс разбивка успехов и сбоев и полоса распределения инструментов. Наряду с общим представлением latency, страница Tools добавляет разбивку успехов и сбоев и полосу распределения инструментов, чтобы вы видели с первого взгляда, на какие инструменты вы полагаетесь больше всего и какие отнимают вашу квоту на ошибки.

​

Hooks: определите точный хук и триггер

Когда lifecycle hook замедляет запуск, фраза “хуки медленные” — это не то, на что вы можете действовать. Страница Hooks помогает вам найти тот, который имеет значение. Страница Hooks: latency разбита по имени хука и событию триггера. Поверх той же тепловой карты latency и полосы процентилей, страница Hooks разбивает активность по имени хука и событию триггера, чтобы вы приземлились на единственный хук и единственное событие, которые требуют внимания.

​

Связанные материалы

• Event stream: живой, цветной след каждого события.
• Sessions: объедините события в одну строку на запуск и откройте его граф выполнения.
• Error tracking: единая поверхность для триажа всего, что панель инструментов показывает красным.
• Dashboards: сводные представления по всему вашему парку.