Evaluator sdk

​

title: “Evaluator SDK” description: “أنشئ خدمة تقيّم جلسات Failproof AI بشكل متزامن أو غير متزامن.” icon: “gauge”

​

إعداد مقيّم

pip install failproofai-sdk uvicorn

import os
from failproofai.evaluator import Evaluator, EvalResponse

app = Evaluator(token=os.environ.get("EVALUATOR_TOKEN"))

@app.config
def config():
    return {"inactivity_timeout_secs": 1800}

@app.evaluator
def evaluate(req):
    tool_errors = sum(
        1 for item in req.events
        if item.event_type == "tool_result" and item.payload.get("error")
    )
    return EvalResponse(
        scores={"tool_reliability": 1.0 if tool_errors == 0 else 0.0},
        reasoning={"tool_reliability": f"{tool_errors} tool errors"},
    )

export EVALUATOR_TOKEN=<shared-token>
uvicorn evaluator:app --host 0.0.0.0 --port 8080

curl http://127.0.0.1:8080/health

​

ربط المقيّم بـ Failproof AI

1. انشر المقيّم على عنوان URL بروتوكول HTTPS يمكن الوصول إليه بواسطة Failproof AI Cloud.
2. كوّن EVALUATOR_ENDPOINT باستخدام هذا العنوان وعيّن EVALUATOR_TOKEN للرمز نفسه الذي يستخدمه المقيّم. بالنسبة للسحابة المُدارة، اتصل بـ support@befailproof.ai لتكوين الاتصال.
3. شغّل عملية تقييم وتأكد من ظهور درجاتها في Failproof AI.

• لوحة التحكم
• واجهة سطر الأوامر

افتح جلسة مكتملة ضمن Observe → Sessions وحدّد Run evaluation إذا لم يتم تقييمها تلقائيًا. راجع الحالة والدرجات والتفسير والملخص في لوحة Evaluation الخاصة بالجلسة.استخدم Observe → Evaluations لمقارنة الدرجات عبر الوكلاء أو البيئات. استخدم Observe → Metrics لقياسات الكمون والتكلفة والرمز وغيرها من المقاييس الرقمية.ابدأ بجلسة واحدة للتأكد من أن المقيّم أرجع مفاتيح الدرجات المتوقعة وتفسيرًا مفيدًا لهذا التشغيل المحدد.عندما تبدو النتائج الفردية صحيحة، استخدم لوحة تحكم التقييم لمقارنة تلك الدرجات عبر الزمن وعبر الوكلاء أو البيئات.يجب أن تستخدم الرسم البياني الصحي أسماء درجات مستقرة؛ تغيير مفتاح ينشئ سلسلة منفصلة.

fp evals --since 1h --score tool_reliability:0..1
fp evals --since 24h --aggregate

​

أنواع SDK

​

المزخرفات والمسارات

​

إرجاع العمل غير المتزامن

from failproofai.evaluator import EvalRequest, EvalResponse, Evaluator, JobPending

app = Evaluator(token="shared-secret")

@app.evaluator
def start(req: EvalRequest) -> JobPending:
    job_id = enqueue(req)
    return JobPending(job_id=job_id, next_poll_secs=30)

@app.job_lookup
def lookup(job_id: str):
    result = get_result(job_id)
    if result is None:
        return JobPending(job_id=job_id, next_poll_secs=30)
    return EvalResponse(
        scores=result.scores,
        reasoning=result.reasoning,
        summary=result.summary,
    )

​

حقول الطلب والاستجابة

​

إعدادات مشغّل الخادم

​

الأمان والعمليات

• ضع المقيّم خلف HTTPS عندما تعبر حركة المرور حدود الشبكة الموثوقة.
• كوّن رمزًا مشفرًا غير فارغ واحفظه متطابقًا على كلا الخدمتين.
• لا تسجّل الرمز أو المحفوظات الحساسة الكاملة من حمولات الطلبات.
• اجعل معالجات المتزامن قابلة للإدراك؛ قد تكرر المحاولات مرة أخرى الطلب.
• احفظ حالة الوظيفة غير المتزامنة خارج ذاكرة العملية في الإنتاج.
• أرجع مفاتيح درجات مستقرة. إعادة تسمية مفتاح تنشئ سلسلة رسم بياني جديدة بدلاً من تغيير القديم.