title: “مهارة وكيل Failproof AI للملاحظة والتقييم” description: “انتقل من “أعتقد أن وكيلنا سيء أحيانًا” إلى خدمة تسجيل مُنشرة، مع قيام وكيلك البرمجي بالقرار والبناء معًا.”
انتقل من “أعتقد أن وكيلنا سيء أحيانًا” إلى خدمة تسجيل مُنشرة، مع قيام وكيلك البرمجي بالقرار والبناء معًا. مهارة Failproof AI للملاحظة والتقييم (agenteye-evaluator) هي مهارة وكيل: مجلد صغير من التعليمات يحمّله وكيل برمجي مثل Claude Code أو Codex عند الحاجة. تعلّم الوكيل كيفية معرفة أي أبعاد الجودة تستحق التتبع لوكيلك، ثم كتابة واختبار ونشر خدمة التقييم التي تسجلها.
إنها ليست خدمة تسجيل مستضافة، ولا سجل تحمل إليه، ولا نظام إضافات. يبقى مُقيّمك خدمة HTTP خاصة بك على بنيتك الأساسية، تمامًا كما هو موضح في دليل Evaluation suite. تعلّم المهارة وكيلك فقط لبناؤها بشكل جيد، لذا كل ما تفعله، يمكنك أن تفعله بنفسك بكتابة نفس الكود.
الجزء الصعب هو تحديد ما يجب تسجيله
سطح SDK صغير — مزخرف واثنتا نماذج — ويمكن لوكيل كتابة ذلك من العقد وحده. هذا ليس حيث يفشل المُقيّمون. يفشلون لأنهم يسجلون الشيء الخطأ، والمُقيّم الذي يسجل الشيء الخطأ أسوأ من لا شيء: ينتج لوحة معلومات يتعلم الجميع تجاهلها. لذا معظم المهارة هي الجزء قبل وجود أي كود. يوجد الوكيل مقابلة معك (“صِف عملية سارت بشكل جيد؛ الآن واحدة سارت بشكل سيء”)، ثم يسحب جلساتك الفعلية عبرagenteye CLI ويقرأها من البداية إلى النهاية. هاتان النصفان عادة ما يختلفان، والفجوة هي النقطة: ما تنوي قياسه مقابل ما يمكن لنسخك الفعلية فعلاً دعمه. البعد يستمر فقط إذا كان قابلاً للحساب من الأحداث وممّيزًا — إذا سجّل 0.9 على جلستك الجيدة وعلى جلستك السيئة، فإنه لا يعلّم شيئًا ويتم حذفه.
ما يعود هو اقتراح من 2-4 أبعاد مع التفكير المرفق، لتوافق عليه قبل كتابة سطر واحد.
كيفية ارتباطها بأجزاء التقييم الأخرى
أربعة مستندات تغطي التسجيل، وتسلّم لبعضها البعض بالتسلسل:مقابل مهارة CLI: البناء مقابل القراءة
المهارتان متعمدتان غير متداخلتين، والتثبيت لكليهما هو الإعداد الطبيعي — يختار الوكيل بينهما بناءً على ما تطلبه:agenteye-evaluator(هذا المستند) يبني الشيء الذي ينتج التسجيلات. تنتهي مهمته عندما تُسجّل التسجيلات للمرة الأولى.agenteye-cliيقرأ التسجيلات التي موجودة بالفعل (agenteye evals). سؤاله هو “هل انخفضت الجودة هذا الأسبوع؟” وليس سؤال هذه المهارة.
المتطلبات الأساسية
- تثبيت CLI
agenteyeوتسجيل الدخول (pipx install agenteye، ثمagenteye login). تعتمد المهارة عليها مرتين: لسحب الجلسات الفعلية التي تصممها، وللتأكد من هبوط تسجيلاتك في النهاية. يحتاج تسجيل دخولك إلىevents:read، بالإضافة إلىevaluations:readلهذا الفحص النهائي. كما هو الحال مع مهارة CLI، فهي لا يمكنها إكمال تسجيل الدخول برمز لمرة واحدة عبر البريد الإلكتروني. - مكان للمُقيّم ليعيش فيه. يتم بناؤه في صورة ويعمل كخدمة طويلة الأجل، لذا يحتاج إلى مستودع حقيقي وليس ملف مؤقت. غالبًا ما يعيش المُقيّمون في مستودعهم الخاص، منفصل عن الوكيل الذي يتم تسجيله — تبحث المهارة عن مستودع موجود وتسأل قبل البناء الجديد.
- عجلة SDK
agenteye-evaluator— اقرأ القسم التالي قبل أن يبدأ وكيلك في كتابة أوامرpip.
أين تحصل عليها
تُنشر المهارة في مجموعة المهارات العامة من Failproof AI: github.com/FailproofAI/skills →skills/agenteye-evaluator/
المستودع عام والمهارة لا تحتاج إلى أي بيانات اعتماد خاصة بها — إنها فقط تُشغّل CLI agenteye مع الجلسة التي سجلت الدخول إليها، وتكتب كودًا في مستودعك. لاحظ أنها تُشحن كمجلد خاص بها وهي ليست داخل حزمة pipx install agenteye، لذا لا تبحث عنها هناك.
تثبيت المهارة
أسرع طريق هي CLIskills، التي تجلب المجلد وتضعه حيث يبحث وكيلك:
SKILL.md (بالإضافة إلى مراجع اختيارية)، لذا نسخها يعمل أيضًا:
- Claude Code: ضع مجلد
agenteye-evaluator/في~/.claude/skills/(كل مشروع) أو<your-repo>/.claude/skills/(هذا المستودع فقط). يكتشفها Claude Code تلقائيًا — تحقق باستخدام قائمة/skills، أو فقط اطلب التقييمات. - Codex (OpenAI): يقرأ Codex نفس
SKILL.md. يعيّنagents/openai.yamlالمُرفقallow_implicit_invocation: true، لذا يختار Codex المهارة تلقائيًا عندما تطابق المهمة؛ وإلا فاستدعِها بشكل صريح كـ$agenteye-evaluator.
SDK ليس على PyPI العام
تحذير: اقرأ هذا قبل السماح لوكيل بتثبيت SDK.المهارة عامة؛ SDK الذي تقودها ليس كذلك.
agenteye-evaluator يُشحن فقط كقطعة إصدار خاصة، وخلافًا لـ agenteye، الاسم غير مطالب به على PyPI العام — لذا قد يسحب pip install agenteye-evaluator مجرد حزمة من شخص غريب في الخدمة التي تقرأ نسخك الإنتاجية. هذه مشكلة سلسلة التوريد، وليست خطأ إملائي.
تعرف المهارة هذا وتعمل بسلم التثبيت بدلاً من ذلك، متوقفة عند أول درجة تنطبق: مصدر المونوريبو إذا كنت داخل مستودع AgentEye، وإلا عجلة الإصدار الخاص من GitHub Releases (تحتاج إلى وصول)، وإذا لم يكن أي منهما متاحًا فإنها توقف وتخبرك بطلب عجلة من جهة اتصال Failproof AI الخاصة بك بدلاً من الارتجال.
لذا إذا اقترح وكيلك pip install agenteye-evaluator مجرد من PyPI العام، فهذا يدل على أن المهارة لم تحمّل أبدًا. توقف هناك وتحقق من تثبيتها.
ما يمكنك أن تطلبه
جولة حقيقية ذهابًا وإيابًا تبدأ بطلب غامض وتنتهي بتصميم موقع، وليس بكود:JobPending بدلاً من السماح لحكمك بالإلغاء وإعادة المحاولة خمس مرات بخمسة أضعاف التكلفة.
ثم ينشره، ويعيّن متغيري البيئة للخادم، ويؤكد مع agenteye --json evals --session-id <id> أن التسجيلات فعلاً هبطت. هبوط التسجيلات هو الدليل الوحيد.
ما الذي يجب الانتباه له
- أسماء الأبعاد قريبة من الدوام. مفاتيح التسجيل عبارة عن سلاسل نصية تعسفية والمنصة تتجه إلى ما ترسله، مما يعني أنه لا شيء يصحح اختيارًا سيئًا لاحقًا. إعادة التسمية لاحقًا وينقسم التاريخ: الجلسات القديمة تحافظ على المفتاح القديم والاتجاه ينقطع. هذا هو السبب في أن المهارة تحصل على موافقة صريحة قبل كتابة الكود — خذ هذا الطلب بجدية.
- المستقلات هي نسخ إنتاجية حقيقية. تصميم مقابل جلسات حقيقية يعني سحبها إلى القرص، ويمكنها أن تحتوي على بيانات العميل. تسأل المهارة قبل التزامها بـ git؛ إذا كنت في شك، أبقِ
fixtures/خارج المستودع واطلب من كل مطور سحب خاصه. - يكتب الوكيل وينشر خدمة تقرأ كل نسخة. يتصرف كأنت، محدود بأذونات تسجيل دخول CLI، لكن راجع المُقيّم مثل أي كود آخر يلمس بيانات الإنتاج.
الخطوات التالية
- Evaluation suite: عقد HTTP والـ SDK ومتغيرات البيئة للخادم التي تُعدّلها المهارة.
- التقييمات: حيث تظهر التسجيلات بمجرد هبوطها.
- مهارة CLI: المهارة الشقيقة، لقراءة النتائج بدلاً من بناء المسجّل.
- CLI: مرجع الأوامر خلف بيانات الجلسة التي تصممها المهارة.