Skip to main content
Failproof AI Observability एक स्व-होस्टेड प्लेटफॉर्म है जो आपके AI एजेंट्स को प्रोडक्शन में देखने, मूल्यांकन करने और सुधारने के लिए है। यह आपके एजेंट्स द्वारा किए गए सभी काम को रिकॉर्ड करता है (प्रत्येक टूल कॉल, मॉडल अनुरोध, हुक और त्रुटि), प्रत्येक रन की गुणवत्ता को स्कोर करता है, और उन विफलताओं को सामने लाता है जिन्हें आप खोजने के लिए नहीं जानते थे, सभी एक डैशबोर्ड में जो आप अपने बुनियादी ढांचे के अंदर चलाते हैं। यदि आप AI एजेंट्स शिप करते हैं और यह अनुमान लगाने से थक गए हैं कि एक रन गलत क्यों हुआ, तो यह शुरू करने के लिए सही पृष्ठ है। यह समझाता है कि Failproof AI Observability आपको क्या देता है और कैसे चीजें एक साथ फिट होती हैं, इससे पहले कि आप कुछ भी इंस्टॉल करें।
Failproof AI Observability एक enterprise उत्पाद है Failproof AI से। इसे कार्य में देखना चाहते हैं? एक डेमो का अनुरोध करें: nikita@befailproof.ai को ईमेल करें।
एक Failproof AI Observability सेशन को git-शैली के execution ग्राफ़ के रूप में खींचा गया है, जिसके साथ इसकी event timeline है, जिसमें दाईं ओर प्रति-रन tools, मॉडल्स और hooks का विवरण है हर एजेंट रन को git-शैली के execution ग्राफ़ (बाएं) के रूप में खींचा जाता है, इसके event timeline के बगल में। समानांतर sub-agents को प्रत्येक को अपनी लेन मिलती है; दाईं ओर की पट्टी रन के लिए tools, मॉडल्स, hooks और token spend को विभाजित करती है।

​
कार्य में देखें

दो छोटे वीडियो उन दो चीजों को दिखाते हैं जिन्हें टीमें सबसे पहले प्राप्त करती हैं: एक रन को ट्रेस करना और विफलताओं को स्वचालित रूप से खोजना।
एजेंट ट्रेसिंग: लक्ष्य से लेकर tools से अंतिम उत्तर तक, एक रन को चरण दर चरण फॉलो करें।
Failproof Audit: Failproof AI Observability को अपने लॉग्स को सेशन्स के पार खोदने और आपको बताने दें कि क्या ठीक करना है।

​
टीमें इसका उपयोग क्यों करती हैं

  • देखें कि आपका एजेंट वास्तव में क्या करता है। हर रन एक पठनीय, git-शैली के execution ग्राफ़ में बदल जाता है: कौन से tools समानांतर में चले, कौन से sub-agents शाखा बंद हो गए, यह कहां रुका और इसने क्या खर्च किया।
  • गुणवत्ता रिग्रेशन को स्वचालित रूप से पकड़ें। एक छोटी स्कोरिंग सेवा को कनेक्ट करें और Failproof AI Observability हर समाप्त रन को स्कोर करता है, इसलिए सहायकता में गिरावट या hallucinations में स्पाइक अपने आप दिखाई देता है।
  • उन विफलताओं को खोजें जिनके लिए आपने कोई नियम नहीं लिखा है। पुनरावर्ती audits आपके लॉग्स को सेशन्स के पार खोदते हैं और त्रुटि क्लस्टर, latency आउटलायर्स, कम स्कोर और फंसे हुए runs को खोजते हैं, फिर आपको ranked, evidence-backed खोजें देते हैं।
  • जब यह महत्वपूर्ण हो तो पेज प्राप्त करें। Threshold नियम त्रुटि दर, latency, cost या evaluator स्कोर पर फायर करते हैं और incidents खोलते हैं जिन्हें आप स्वीकार कर सकते हैं, assign कर सकते हैं और resolve कर सकते हैं।
  • सादे अंग्रेजी में सवाल पूछें। एक in-dashboard AI सहायक आपके अपने डेटा पर यह जवाब देता है कि इस सप्ताह prod में गुणवत्ता कैसी चल रही है। यह जो भी परिवर्तन करता है वह approval-gated है।
  • अपना डेटा रखें। Failproof AI Observability स्व-होस्टेड है: events, prompts और analytics उस बुनियादी ढांचे में रहते हैं जिसे आप नियंत्रित करते हैं।

​
आप क्या प्राप्त करते हैं

Failproof AI Observability तीन विचारों के चारों ओर संगठित है (observe, analyze, और admin), जो डैशबोर्ड के बाएं sidebar में प्रतिबिंबित हैं। Observe (जो हुआ उसकी कच्ची सच्चाई):
  • Event stream: हर रन की live, per-step trail (tool calls, model calls, hooks, errors)।
  • Sessions: वे events रन के प्रति एक पंक्ति में रोल अप किए गए, प्रत्येक को स्कोर करने के लिए तैयार, एक git-शैली के execution ग्राफ़ के साथ।
  • Performance metrics: per-surface latency heat-maps और p50/p95/p99 vitals models, tools और hooks के लिए, इसलिए एक tail spike माध्य से अलग होकर दिखता है।
  • Error tracking: सभी गलत चीजों के लिए एक triage surface, एक firing alert से एक क्लिक दूर।
Tools observe पृष्ठ: एक latency heat-map, एक percentile band और 24 समय bins पर एक tool-distribution bar प्रत्येक observe surface एक sparkline और p50/p95/p99 vitals को एक latency heat-map और एक percentile band के साथ जोड़ता है। यहां दिखाया गया है: Tools। Analyze (activity को जवाबों में बदलें):
  • Queries और dashboards: आपकी events और evaluations पर saved SQL, साझा, org-scoped dashboards में चार्ट किए गए।
  • Evaluations: आपकी अपनी evaluator सेवा द्वारा उत्पादित गुणवत्ता स्कोर, per-score reasoning के साथ।
  • Audits: पुनरावर्ती investigations जो sessions के पार विफलता पैटर्न को सामने लाते हैं।
  • Alerts और incidents: threshold नियम जो आपको पेज करते हैं, साथ ही एक incident workflow उन्हें triage करने के लिए।
Interfaces (अपने डेटा तक अपने तरीके से पहुंचें):
  • CLI: terminal या script से अपनी पूरी deployment चलाएं, और एक coding agent को इसे सादे अंग्रेजी में करने दें।
  • AI assistant: डैशबोर्ड के अंदर सादे अंग्रेजी में अपने एजेंट्स के बारे में सवाल पूछें।
  • REST API: डैशबोर्ड और CLI जो करते हैं सब कुछ एक REST API द्वारा समर्थित है जिसे आप सीधे एक scoped API key के साथ कॉल कर सकते हैं — events ingest करें, sessions और evaluations query करें, और dashboards, alerts, audits, users और keys को manage करें, इसलिए आप Failproof AI Observability को अपने स्वयं के tooling में wire कर सकते हैं।
Admin (अपनी टीम के लिए इसे चलाएं):
  • API keys: collector, dashboard और assistant के लिए scoped tokens।
  • Users: passwordless, email-based sign-in एक allowlist के साथ।
  • Settings: per-org configuration, including model context-window overrides के साथ।

​
चीजें कैसे फिट होती हैं

डेटा एक दिशा में बहता है, आपके एजेंट कोड से डैशबोर्ड तक: आपका एजेंट (Python SDK के via) events को agenteye-collector को emit करता है, जो उन्हें सर्वर को भेजता है, जो डैशबोर्ड को serve करता है। दो optional सेवाएं इसे पूरा करती हैं — एक स्कोरिंग सेवा (evaluations) और एक AI assistant सेवा (in-dashboard chat)।
  • Python SDK: आप अपने एजेंट में कुछ agenteye.event.* कॉल्स जोड़ते हैं; events को locally buffer किया जाता है।
  • agenteye-collector: हर एजेंट मशीन पर एक lightweight daemon जो events को batch करता है और सर्वर को भेजता है।
  • Server: आपके events को ingest करता है, आपके अपने databases में operational state रखता है, और REST API को serve करता है जिसे डैशबोर्ड, CLI और आपके स्वयं के integrations सभी use करते हैं।
  • Dashboard: जहां आप सबकुछ explore करते हैं।
  • Optional services: एक स्कोरिंग सेवा (evaluations), और एक AI assistant सेवा (in-dashboard chat)।
docs में उपयोग की गई vocabulary के लिए (event, session, evaluation, audit, finding, incident), Concepts देखें।

​
Failproof AI Observability प्राप्त करना

Failproof AI Observability एक enterprise उत्पाद है Failproof AI से, और यह Failproof AI Enforcement — policy और guardrail उत्पाद — के साथ काम करता है, Failproof AI ब्रांड के तहत। यह पूरी तरह से अपने स्वयं के environment में चलता है। यदि आपको packages तक access नहीं है अभी भी, एक डेमो का अनुरोध करें और हम आपको set up करेंगे: nikita@befailproof.ai को ईमेल करें।

​
अगले कदम

  • Concepts: Failproof AI Observability vocabulary एक जगह पर।
  • Observability: अपने एजेंट्स को जो करते हैं उसे follow करें, रन दर रन।
  • Security: कैसे Failproof AI Observability आपके डेटा को isolated रखता है और आपके नियंत्रण में।