Evaluator SDK

​

הגדר evaluator

pip install failproofai-sdk uvicorn

import os
from failproofai.evaluator import Evaluator, EvalResponse

app = Evaluator(token=os.environ.get("EVALUATOR_TOKEN"))

@app.config
def config():
    return {"inactivity_timeout_secs": 1800}

@app.evaluator
def evaluate(req):
    tool_errors = sum(
        1 for item in req.events
        if item.event_type == "tool_result" and item.payload.get("error")
    )
    return EvalResponse(
        scores={"tool_reliability": 1.0 if tool_errors == 0 else 0.0},
        reasoning={"tool_reliability": f"{tool_errors} tool errors"},
    )

export EVALUATOR_TOKEN=<shared-token>
uvicorn evaluator:app --host 0.0.0.0 --port 8080

curl http://127.0.0.1:8080/health

​

חבר את ה-evaluator ל-Failproof AI

1. פרוס את ה-evaluator ב-URL של HTTPS שנגיש עבור Failproof AI Cloud.
2. הגדר את EVALUATOR_ENDPOINT עם ה-URL הזה וקבע את EVALUATOR_TOKEN לאותו token שמשמש את ה-evaluator. עבור Cloud מנוהל, צור קשר עם support@befailproof.ai כדי להגדיר את החיבור.
3. הרץ הערכה וודא שהניקודים שלה מופיעים ב-Failproof AI.

• Dashboard
• CLI

פתח סשן שהושלם תחת Observe → Sessions ובחר Run evaluation אם הוא לא הוערך באופן אוטומטי. בדוק את ה-status, הניקודים, הנימוק והסיכום בלוח Evaluation של הסשן.השתמש ב-Observe → Evaluations כדי להשוות ניקודים על פני agents או סביבות שונות. השתמש ב-Observe → Metrics למדידות של latency, cost, token ואחרות מספריות.התחל עם סשן אחד כדי לודא שה-evaluator החזיר את מפתחות הניקוד הצפויים ונימוק שימושי עבור ריצה ספציפית זו.כאשר התוצאות הבודדות נראות נכונות, השתמש בדשבורד ההערכה כדי להשוות ניקודים אלה לאורך זמן ועל פני agents או סביבות שונות.דיאגרמה בריאה צריכה להשתמש בשמות ניקוד יציבים; שינוי של מפתח יוצר סדרה נפרדת.

fp evals --since 1h --score tool_reliability:0..1
fp evals --since 24h --aggregate

​

סוגי SDK

​

Decorators ונתיבים

​

החזר עבודה אסינכרונית

from failproofai.evaluator import EvalRequest, EvalResponse, Evaluator, JobPending

app = Evaluator(token="shared-secret")

@app.evaluator
def start(req: EvalRequest) -> JobPending:
    job_id = enqueue(req)
    return JobPending(job_id=job_id, next_poll_secs=30)

@app.job_lookup
def lookup(job_id: str):
    result = get_result(job_id)
    if result is None:
        return JobPending(job_id=job_id, next_poll_secs=30)
    return EvalResponse(
        scores=result.scores,
        reasoning=result.reasoning,
        summary=result.summary,
    )

​

שדות בקשה ותגובה

​

הגדרות של מפעיל שרת

​

אבטחה ותפעול

• הצב את ה-evaluator מאחורי HTTPS כאשר תעבור עוברת גבול של רשת מהימנה.
• הגדר bearer token לא ריק ושמור על זהותו בשני השירותים.
• אל תיומן את ה-token או prompts רגישים מלאים מגופי בקשות.
• הגדר핸handlers סינכרוניים כ-idempotent; retries עלולים לחזור על בקשה.
• המשך מצב עבודה אסינכרוני מחוץ לזיכרון תהליך בייצור.
• החזר מפתחות ניקוד יציבים. שינוי שם של מפתח יוצר סדרה תרשים חדשה במקום שינוי של הישן.