Getting started - FailproofAI

title: “AgentEye के साथ शुरुआत करें” description: “AgentEye के साथ शुरुआत करें — AgentEye दस्तावेज़।”

यह गाइड आपको एक पूर्ण AgentEye सेटअप के माध्यम से ले जाती है: सर्वर और डैशबोर्ड को तैनात करना, एजेंट मशीन पर कलेक्टर इंस्टॉल करना, और आपके Python एजेंट कोड को स्ट्रूमेंट करना।

AgentEye क्या है?

AgentEye एक AI एजेंट्स के लिए स्व-होस्टेड ऑब्जर्वेबिलिटी और मूल्यांकन प्लेटफॉर्म है। यह रिकॉर्ड करता है कि आपके एजेंट्स क्या करते हैं — एक रन का प्रत्येक कदम — और पूर्ण रन की गुणवत्ता को स्वचालित रूप से स्कोर करता है, ताकि आप देख सकें कि आपके एजेंट्स प्रोडक्शन में कैसे व्यवहार करते हैं और आपके उपयोगकर्ताओं से पहले रिग्रेशन को पकड़ सकें। डेटा एक दिशा में प्रवाहित होता है: आपका एजेंट कोड Python SDK के माध्यम से events उत्सर्जित करता है → एक हल्का collector डेमॉन उन्हें बैच करता है और server को भेजता है → events और विश्लेषण ClickHouse में संग्रहीत होते हैं (संगठन, उपयोगकर्ता, API कुंजियाँ, डैशबोर्ड, और सहेजी गई क्वेरीज़ जैसी संचालनात्मक स्थिति Postgres में रहती है) → आप dashboard में सब कुछ explore करते हैं। आपको क्या मिलता है:

Events — हर एजेंट रन का कच्चा, प्रति-कदम ट्रेल (टूल कॉल्स, मॉडल कॉल्स, हुक्स, एरर्स)।
Sessions — वे events एक रो में रोल अप किए गए, प्रत्येक स्वचालित रूप से मूल्यांकित और स्कोर किया गया।
Evaluations — आपकी अपनी मूल्यांकनकर्ता सेवाओं द्वारा उत्पादित गुणवत्ता के स्कोर, ताकि गुणवत्ता में गिरावट मैनुअल रिव्यू के बिना सामने आए।
Queries & dashboards — आपके डेटा पर सहेजी गई ClickHouse SQL, साझा, संगठन-स्कोपड डैशबोर्ड में चार्ट किया गया।
Alerts & incidents — थ्रेशहोल्ड नियम जो आपको पेज करते हैं (ईमेल, Slack, webhook, इन-डैशबोर्ड) साथ ही उन्हें ट्रिएज करने के लिए एक incident वर्कफ़्लो।
CLI & AI assistant — एक टर्मिनल क्लायंट (agenteye) और एक इन-डैशबोर्ड असिस्टेंट सादा अंग्रेजी में प्रश्न पूछने के लिए।

आप इसे सब अपने स्वयं के इन्फ्रास्ट्रक्चर में चलाते हैं, एक एकल Docker Compose स्टैक (यह गाइड), एक प्रोडक्शन Kubernetes इंस्टॉल, या एक एकल सह-स्थित पॉड के रूप में। इस गाइड का बाकी हिस्सा Compose स्टैक को end-to-end सेट अप करता है।

चरण 1: प्रमाणीकरण करें

सभी AgentEye artifacts agenteye-enterprise GitHub संगठन से वितरित किए जाते हैं। एक enterprise developer के रूप में आप अपना स्वयं का GitHub PAT बना सकते हैं। सटीक चरणों और आवश्यक अनुमतियों के लिए enterprise-docs/github-token.md का अनुसरण करें।

export AGENTEYE_TOKEN=<your-github-pat>

# Authenticate Docker against GHCR
echo $AGENTEYE_TOKEN | docker login ghcr.io -u x --password-stdin

चरण 2: सर्वर और डैशबोर्ड तैनात करें

सर्वर कलेक्टर से events प्राप्त करता है और उन्हें query योग्य बनाता है; डैशबोर्ड वह जगह है जहाँ आप उन्हें explore करते हैं। Ingested events और विश्लेषण ClickHouse (आवश्यक विश्लेषण स्टोर) में रहते हैं, जबकि Postgres संगठन, उपयोगकर्ता, API कुंजियाँ, डैशबोर्ड, और सहेजी गई क्वेरीज़ जैसी संचालनात्मक स्थिति रखता है। प्रकाशित compose फ़ाइल डाउनलोड करें:

mkdir -p ./agenteye
curl -fsSL \
  -H "Authorization: token $AGENTEYE_TOKEN" \
  https://raw.githubusercontent.com/agenteye-enterprise/releases/main/docker-compose.yml \
  -o ./agenteye/docker-compose.yml
cd agenteye

अपने secrets सेट करें: एक .env फ़ाइल बनाएँ ताकि तैनाती डिफ़ॉल्ट admin क्रेडेंशियल पर न चले। कम से कम ADMIN_KEY और POSTGRES_PASSWORD सेट करें:

POSTGRES_PASSWORD=your-db-password
ADMIN_KEY=your-admin-secret

स्टैक शुरू करें:

docker compose up -d

यह पूर्ण स्टैक लाता है, जिसमें आवश्यक ClickHouse विश्लेषण स्टोर और एक वैकल्पिक Redis कैश भी शामिल है, सर्वर और डैशबोर्ड के साथ। ClickHouse को स्वस्थ होना चाहिए ताकि सर्वर शुरू हो सके। सर्वर अब http://localhost:8080 पर सुन रहा है और डैशबोर्ड http://localhost:3000 पर है। प्रोडक्शन तैनातियों के लिए (कस्टम Postgres, TLS, reverse proxy), enterprise-docs/deployment.md देखें।

चरण 3: कलेक्टर के लिए एक API Key बनाएँ

प्रत्येक कलेक्टर एक scoped API key के साथ प्रमाणीकरण करता है। चरण 2 में सेट करें ADMIN_KEY का उपयोग करके एक बनाएँ:

curl -s -X POST http://localhost:8080/keys \
  -H "Authorization: Bearer $ADMIN_KEY" \
  -H "Content-Type: application/json" \
  -d '{"name":"prod-collector","key":"your-collector-secret","permissions":["events:add"]}'

आप key value स्वयं प्रदान करते हैं; चरण 4 में कलेक्टर कॉन्फ़िग में इसका उपयोग करें। पूर्ण key प्रबंधन के लिए enterprise-docs/api-keys.md देखें।

चरण 4: कलेक्टर इंस्टॉल करें

आपके AI एजेंट्स चलाने वाली हर मशीन पर कलेक्टर डेमॉन इंस्टॉल करें। बायनरी डाउनलोड करें (Linux x86_64):

VERSION=0.0.1-beta.13
GITHUB_TOKEN=$AGENTEYE_TOKEN gh release download "collector/v${VERSION}" \
  --repo agenteye-enterprise/releases \
  --pattern 'agenteye-collector-linux-x86_64'
chmod +x agenteye-collector-linux-x86_64
sudo mv agenteye-collector-linux-x86_64 /usr/local/bin/agenteye-collector

यह Linux x86_64 बिल्ड डाउनलोड करता है। macOS (Apple Silicon या Intel), Linux arm64, या Docker / systemd / launchd सेटअप के लिए, collector-installation.md देखें, जो प्रत्येक प्लेटफॉर्म के लिए डाउनलोड सूचीबद्ध करता है — ऊपर दिया गया कमांड एक Linux बायनरी इंस्टॉल करता है जो कहीं और नहीं चलेगी।

कॉन्फ़िगर करें:

mkdir -p ~/.agenteye
cat > ~/.agenteye/config.json <<EOF
{
  "url": "http://your-server-host:8080/events",
  "key": "the-key-from-step-3"
}
EOF

डेमॉन शुरू करें:

agenteye-collector start

एक one-shot flush के साथ connectivity verify करें (किसी भी लंबित events को drain करने के बाद exit करता है):

agenteye-collector flush

Docker, systemd, और launchd सेटअप के लिए enterprise-docs/collector-installation.md देखें।

चरण 5: Python SDK इंस्टॉल करें

जहाँ भी आप एजेंट कोड को स्ट्रूमेंट करना चाहते हैं, हर मशीन पर GitHub Releases से wheel इंस्टॉल करें।

VERSION=0.0.1b9
GITHUB_TOKEN=$AGENTEYE_TOKEN gh release download "python-sdk/v${VERSION}" \
  --repo agenteye-enterprise/releases \
  --pattern 'agenteye-*.whl'
pip install agenteye-${VERSION}-py3-none-any.whl

चरण 6: अपने एजेंट को स्ट्रूमेंट करें

अपने एजेंट कोड में events जोड़ें। कम से कम, agent_start और agent_end उत्सर्जित करें:

import agenteye

agenteye.event.agent_start(
    session_id="run-001",
    agent_id="my-agent",
    goal="answer the user query",
)

# your agent logic here

agenteye.event.agent_end(
    session_id="run-001",
    agent_id="my-agent",
    outcome="success",
)

Events बफर होते हैं और हर 500 ms में $AGENTEYE_HOME/events/ (या ~/.agenteye/events/ यदि AGENTEYE_HOME सेट नहीं है) में flush होते हैं। कलेक्टर उन्हें स्वचालित रूप से लेता है। पूर्ण event API के लिए enterprise-docs/python-sdk.md देखें।

चरण 7: डैशबोर्ड में Events देखें

http://your-dashboard-host:3000 खोलें और साइन इन करें। AgentEye आपको एक single-use code (या एक one-click magic link) ईमेल करता है, इसलिए प्रबंधन करने के लिए कोई पासवर्ड नहीं है।

AgentEye साइन-इन स्क्रीन, जो आपके ईमेल को एक single-use code भेजता है

एक बार जब आप अंदर हों, तो Events पृष्ठ सभी ingested events का एक live ट्रेल दिखाता है। किसी विशिष्ट रन को drill करने के लिए session_id या agent_id के द्वारा फ़िल्टर करें।

live Events स्ट्रीम, event type के द्वारा colour-coded और environment, agent, और session के द्वारा filterable

Sessions पृष्ठ उन events को एक रो में रोल अप करता है। AgentEye स्वचालित रूप से पूर्ण sessions का मूल्यांकन करता है, इसलिए हर रन scored है और गुणवत्ता रिग्रेशन मैनुअल रिव्यू के बिना सामने आते हैं; नवीनतम मूल्यांकन score प्रत्येक row पर एक नज़र में दिखाई देता है:

Sessions सूची, एक रो प्रति रन, status pills और evaluation score badges के साथ

यह कॉन्फ़िगर करने के लिए कि sessions कैसे scored हों, enterprise-docs/evaluation-suite.md देखें। किसी भी session को क्लिक करके इसका execution graph खोलें, एक git-style view कि कैसे agents, tools, hooks, और model calls समय के साथ unfold हुए, parallel sub-agents अपने lanes पर और दाएँ rail में per-run breakdown के साथ:

एक session का git-style execution graph इसके event timeline के बगल में, tool/model/hook breakdown panel के साथ

चरण 8: Explore करें, चार्ट करें, और alert करें

Events के साथ flowing, analyze पृष्ठ कच्ची activity को answers में बदलते हैं, ताकि आप एजेंट व्यवहार मापें, पूरी टीम में निष्कर्ष साझा करें, और क्षण भर कुछ regresses होने पर paged हों। Dashboard पृष्ठ organization-scoped हैं, इसलिए जो URLs आप address bar में देखते हैं वह आपके org slug (/<org>/…) के साथ prefixed हैं।

Queries (/<org>/queries): saved, reusable queries के एक library से शुरू करें अपने events और evaluations के ऊपर (built-in presets प्लस आपके अपने)…

saved-queries library: reusable queries का एक grid, built-in presets और custom दोनों

…फिर एक को SQL composer में खोलें इसे tweak करने और live results के साथ चलाने के लिए:

SQL query composer एक saved query चला रहा है, एक schema sidebar और एक live result grid के साथ

Dashboards (/<org>/dashboards): queries को line, bar, area, या pie tiles के रूप में shared, org-wide dashboards में pin करें।

एक dashboard saved queries से बनाया गया: एक events-per-hour line, एक errors-by-type bar, एक latency area chart, और tokens-by-model

Alerts (/<org>/alerts): किसी भी threshold को एक paging rule में promote करें जो email, Slack, webhook, या in-dashboard द्वारा notify करती है। enterprise-docs/alerts.md देखें।

अगले कदम

Deployment: प्रोडक्शन के लिए harden करें
API Keys: access प्रबंधित करें
Troubleshooting: issues diagnose करें

​title: “AgentEye के साथ शुरुआत करें” description: “AgentEye के साथ शुरुआत करें — AgentEye दस्तावेज़।”

​AgentEye क्या है?

​चरण 1: प्रमाणीकरण करें

​चरण 2: सर्वर और डैशबोर्ड तैनात करें

​चरण 3: कलेक्टर के लिए एक API Key बनाएँ

​चरण 4: कलेक्टर इंस्टॉल करें

​चरण 5: Python SDK इंस्टॉल करें

​चरण 6: अपने एजेंट को स्ट्रूमेंट करें

​चरण 7: डैशबोर्ड में Events देखें

​चरण 8: Explore करें, चार्ट करें, और alert करें

​अगले कदम