Evaluator sdk

​

title: “Evaluator SDK” description: “بناء خدمة تقيّم جلسات Failproof AI بشكل متزامن أو غير متزامن.” icon: “gauge”

​

إعداد مُقيّم

pip install failproofai-sdk uvicorn

import os
from failproofai.evaluator import Evaluator, EvalResponse

app = Evaluator(token=os.environ.get("EVALUATOR_TOKEN"))

@app.config
def config():
    return {"inactivity_timeout_secs": 1800}

@app.evaluator
def evaluate(req):
    tool_errors = sum(
        1 for item in req.events
        if item.event_type == "tool_result" and item.payload.get("error")
    )
    return EvalResponse(
        scores={"tool_reliability": 1.0 if tool_errors == 0 else 0.0},
        reasoning={"tool_reliability": f"{tool_errors} tool errors"},
    )

export EVALUATOR_TOKEN=<shared-token>
uvicorn evaluator:app --host 0.0.0.0 --port 8080

curl http://127.0.0.1:8080/health

​

ربط المُقيّم بـ Failproof AI

1. نشّر المُقيّم على عنوان URL يدعم HTTPS ويمكن الوصول إليه بواسطة Failproof AI Cloud.
2. كوّن EVALUATOR_ENDPOINT بهذا العنوان وعيّن EVALUATOR_TOKEN على نفس الرمز المستخدم من قبل المُقيّم. بالنسبة للسحابة المدارة، اتصل بـ support@befailproof.ai لتكوين الاتصال.
3. قم بتشغيل تقييم وتأكد من ظهور درجاته في Failproof AI.

• لوحة التحكم
• CLI

افتح جلسة مكتملة تحت Observe → Sessions واختر Run evaluation إن لم يتم تقييمها تلقائيًا. راجع الحالة والدرجات والتفسيرات والملخص في لوحة Evaluation بالجلسة.استخدم Observe → Evaluations لمقارنة الدرجات عبر الوكلاء أو البيئات. استخدم Observe → Metrics لقياسات الكمون والتكلفة والرموز والقياسات الرقمية الأخرى.ابدأ بجلسة واحدة للتحقق من أن المُقيّم أرجع مفاتيح الدرجات المتوقعة والتفسيرات المفيدة لهذا التشغيل المحدد.بمجرد أن تبدو النتائج الفردية صحيحة، استخدم لوحة تحكم التقييم لمقارنة تلك الدرجات عبر الزمن وعبر الوكلاء أو البيئات.يجب أن تستخدم الرسوم البيانية الصحية أسماء درجات مستقرة؛ تغيير المفتاح ينشئ سلسلة منفصلة.

fp evals --since 1h --score tool_reliability:0..1
fp evals --since 24h --aggregate

​

أنواع SDK

​

الديكوريترز والمسارات

​

إرجاع العمل غير المتزامن

from failproofai.evaluator import EvalRequest, EvalResponse, Evaluator, JobPending

app = Evaluator(token="shared-secret")

@app.evaluator
def start(req: EvalRequest) -> JobPending:
    job_id = enqueue(req)
    return JobPending(job_id=job_id, next_poll_secs=30)

@app.job_lookup
def lookup(job_id: str):
    result = get_result(job_id)
    if result is None:
        return JobPending(job_id=job_id, next_poll_secs=30)
    return EvalResponse(
        scores=result.scores,
        reasoning=result.reasoning,
        summary=result.summary,
    )

​

حقول الطلب والاستجابة

​

إعدادات مشغّل الخادم

​

الأمان والعمليات

• ضع المُقيّم خلف HTTPS عندما يعبر حركة المرور حدود الشبكة الموثوقة.
• كوّن رمز ناقل غير فارغ وأبقِه متطابقًا على كلا الخدمتين.
• لا تسجّل الرمز أو المطالبات الحساسة الكاملة من حمولات الطلبات.
• اجعل المعالجات المتزامنة غير قابلة للتأثر؛ قد تكرر عمليات إعادة المحاولة طلبًا.
• استمر في حالة الوظيفة غير المتزامنة خارج ذاكرة عملية الإنتاج.
• أرجع مفاتيح درجات مستقرة. إعادة تسمية المفتاح تنشئ سلسلة رسم بياني جديدة بدلاً من تغيير الرسم البياني القديم.