Skip to main content

​
title: “Modelli” description: “Confronta la latenza dei modelli, i token, l’utilizzo del contesto e la distribuzione del traffico.” icon: “cpu”

Utilizza Modelli per verificare se l’affidabilità o il costo sono cambiati con un modello, un agente, un ambiente o un intervallo di tempo.
  1. Vai a Observe → Models.
  2. Imposta l’intervallo di tempo, quindi filtra per ambiente, modello, agente o ID sessione.
  3. Esamina la latenza, il consumo di token, l’utilizzo della finestra di contesto e la distribuzione dei modelli.
  4. Seleziona un punto del grafico o un segmento di distribuzione per aprire gli eventi corrispondenti. La pagina Models che mostra le visualizzazioni di latenza, percentile, token, costo, finestra di contesto e distribuzione dei modelli.