Evaluator SDK

​

הגדר מעריך

pip install failproofai-sdk uvicorn

import os
from failproofai.evaluator import Evaluator, EvalResponse

app = Evaluator(token=os.environ.get("EVALUATOR_TOKEN"))

@app.config
def config():
    return {"inactivity_timeout_secs": 1800}

@app.evaluator
def evaluate(req):
    tool_errors = sum(
        1 for item in req.events
        if item.event_type == "tool_result" and item.payload.get("error")
    )
    return EvalResponse(
        scores={"tool_reliability": 1.0 if tool_errors == 0 else 0.0},
        reasoning={"tool_reliability": f"{tool_errors} tool errors"},
    )

export EVALUATOR_TOKEN=<shared-token>
uvicorn evaluator:app --host 0.0.0.0 --port 8080

curl http://127.0.0.1:8080/health

​

חבר את המעריך ל-Failproof AI

1. פרוס את המעריך ב-URL של HTTPS שניתן להגיע אליו מ-Failproof AI Cloud.
2. הגדר את EVALUATOR_ENDPOINT עם ה-URL הזה והגדר את EVALUATOR_TOKEN לאותו טוקן שבו משתמש המעריך. עבור Cloud מנוהל, צור קשר עם support@befailproof.ai כדי להגדיר את החיבור.
3. הפעל הערכה וודא שהניקוד שלה מופיע ב-Failproof AI.

• Dashboard
• CLI

פתח פעילות שהושלמה תחת Observe → Sessions ובחר Run evaluation אם היא לא הוערכה באופן אוטומטי. עיין בסטטוס, ניקוד, נימוקים וסיכום בפאנל Evaluation של הפעילות.השתמש ב-Observe → Evaluations כדי להשוות ניקוד על פני סוכנים או סביבות. השתמש ב-Observe → Metrics עבור עיכוב, עלות, טוקנים ומדידות מספריות אחרות.התחל עם פעילות אחת כדי לאשר שהמעריך החזיר את מקשי הניקוד הצפויים ונימוקים שימושיים לריצה ספציפית זו.לאחר שתוצאות בודדות נראות נכונות, השתמש בלוח המחוונים של הערכה כדי להשוות ניקוד זה לאורך זמן ועל פני סוכנים או סביבות.תרשים בריא צריך להשתמש בשמות ניקוד יציבים; שינוי של מפתח יוצר סדרה נפרדת.

fp evals --since 1h --score tool_reliability:0..1
fp evals --since 24h --aggregate

​

סוגי SDK

​

דקורטורים ומסלולים

​

החזרת עבודה אסינכרונית

from failproofai.evaluator import EvalRequest, EvalResponse, Evaluator, JobPending

app = Evaluator(token="shared-secret")

@app.evaluator
def start(req: EvalRequest) -> JobPending:
    job_id = enqueue(req)
    return JobPending(job_id=job_id, next_poll_secs=30)

@app.job_lookup
def lookup(job_id: str):
    result = get_result(job_id)
    if result is None:
        return JobPending(job_id=job_id, next_poll_secs=30)
    return EvalResponse(
        scores=result.scores,
        reasoning=result.reasoning,
        summary=result.summary,
    )

​

שדות בקשה והתגובה

​

הגדרות מפעיל שרת

​

אבטחה ותפעול

• הצב את המעריך מאחורי HTTPS כאשר התעבורה חוצה גבול רשת מהימן.
• הגדר bearer token לא ריק והשמור עליו זהה בשני השירותים.
• אל תתעד את הטוקן או הודעות רגישות מלאות מגופי בקשה.
• הפוך למנהלים סינכרוניים אידיומפוטנטי; ניסיונות חוזרים עשויים לחזור על בקשה.
• הנח מצב עבודה אסינכרוני מחוץ לזיכרון התהליך בייצור.
• החזר מקשי ניקוד יציבים. שינוי של מפתח יוצר סדרת תרשימים חדשה במקום לשנות את הישנה.