औसत को अपने सबसे बुरे रन को छिपाने दें
औसत लेटेंसी संख्या सुकून देने वाली और बेकार है: यह उस एक कॉल को छिपाती है जो पचास में से एक है जो रुक जाती है और सुबह 2 बजे आपके ऑन-कॉल को पेज करती है। मॉडल, टूल और हुक पेज ऐसा करने से इनकार करते हैं। प्रत्येक समान आकार साझा करता है, इसलिए आप इसे एक बार सीखते हैं:- एक 24-बिन स्पार्कलाइन एक नज़र में ट्रेंड के लिए: क्या यह बदतर हो रहा है?
- एक वाइटल्स स्ट्रिप p50, p95, और p99 लेटेंसी के साथ, ताकि विशिष्ट रन और टेल एक दूसरे के बगल में बैठें।
- एक लेटेंसी हीट-मैप, 24 समय बिन द्वारा लेटेंसी बकेट, जो दिखाता है कि कब धीमी कॉलें क्लस्टर हुई थीं।
- एक प्रतिशतक बैंड: p50 लाइन के साथ p25 से p75 और p10 से p90 छायांकित रिबन और p99 डॉट्स, इसलिए फैलाव औसत से दूर दिखाई देता रहता है।
मॉडल: देखें कि प्रत्येक मॉडल आपको कितना खर्च कर रहा है
मॉडल पृष्ठ (ऊपर दिखाया गया है) दो सवालों का जवाब देता है जो एक बिल हमेशा उठाता है: कौन सा मॉडल, और कितना। साझा लेटेंसी दृश्य के शीर्ष पर, यह प्रति-मॉडल टोकन खपत, अनुमानित लागत, और संदर्भ-विंडो भरण जोड़ता है, इसलिए भागते हुए प्रॉम्प्ट वृद्धि और आसन्न संपीड़न आपको आश्चर्य करने से पहले दिखाई देते हैं। Failproof AI Observability सामान्य मॉडल ID को स्वचालित रूप से पहचानता है। यदि कोई विंडो गलत दिखता है, या आप अपना निजी मॉडल चलाते हैं, तो इसे Settings के तहत, model context windows में सही करें या जोड़ें, और भरण पठन अनुसरण करते हैं।टूल: धीमे को टूटे हुए से अलग करें
एक टूल कॉल धीमा हो सकता है, या यह शांति से विफल हो सकता है, और आप इसे सेकंड में जानना चाहते हैं, लॉग के माध्यम से खोदने के बाद नहीं।
हुक: सटीक हुक और ट्रिगर को इंगित करें
जब एक लाइफसाइकल हुक एक रन को खींचता है, तो “हुक धीमे हैं” कुछ ऐसा नहीं है जिस पर आप कार्य कर सकते हैं। हुक पृष्ठ आपको वह लाता है जो महत्वपूर्ण है।
संबंधित
- Event stream: हर ईवेंट का लाइव, रंग-कोडित ट्रेल।
- Sessions: ईवेंट को एक पंक्ति प्रति रन में रोल करें और इसके निष्पादन ग्राफ को खोलें।
- Error tracking: डैशबोर्ड को लाल रंग में पेंट करने वाली हर चीज़ के लिए एक ट्रिएज सतह।
- Dashboards: अपने फ्लीट में रोल-अप दृश्य।