חבילת הערכה

הערה: אתה מגדיר את ממדי הציון. ההערכה שלך יכולה להחזיר כל מפתחות מספריים שהיא רוצה; Observability אחסן, טרנד ומציג כל מה שאתה שולח חזרה.

​

במבט חטוף

1. כתוב מדרג. הקם שירות HTTP קטן שקורא תמליל של סשן ומחזיר ציונים. Observability משלח התייחסות עובדת שאתה יכול להעתיק. ראה כתיבת מעריך עם ה-SDK.
2. הצביע ל-Observability על זה. קבע את EVALUATOR_ENDPOINT (ו-EVALUATOR_TOKEN משותף) בתהליך השרת.
3. צפה בציונים שנחתו. כל סשן שהסתיים מדורג באופן אוטומטי; התוצאות מופיעות בעמוד פרטי הסשן, בגריד הסשנים ובלוחות שנשמרו.

​

איך זה עובד

• להחזיר את התוצאה בשורה עם {"status":"done", "scores":{...}, "reasoning":{...}, "summary":"..."}. התוצאה מנוספת לציר הזמן של ההערכה של הסשן. reasoning ו-summary הם אופציונליים.
• לדחות עם {"status":"pending", "job_id":"abc-123"}. Observability ואז קורא GET {EVALUATOR_ENDPOINT}/evaluate/abc-123 עד שההערכה שלך מחזירה {"status":"done", ...} או {"status":"error", "error":"..."}. קצב הסקר הוא לכל עבודה: תגובת pending עשויה לכלול next_poll_secs כדי לדרוג; אחרת Observability משתמש בערך default_poll_interval_secs מ-GET /config; אחרת השרת חוזר אל EVALUATOR_POLLING_INTERVAL_SECS (ברירת מחדל 10 שניות). כל הערכים מוגבלים ל-[1 שניה, 1 שעה].

​

חוזה HTTP

• שרת Observability: משתנה env EVALUATOR_TOKEN
• שירות Evaluator: מוגדר באותו אופן (ה-SDK agenteye-evaluator קורא EVALUATOR_TOKEN לפי מוסכמה)

​

נתיבים שההערכה חייבת להגיש

​

גוף EvalRequest שנשלח על ידי השרת

{
  "schema_version": "1",
  "session_id":     "session-abc123",
  "agent_id":       "planner",
  "environment":    "production",
  "started_at":     "2026-05-10T12:00:00Z",
  "ended_at":       "2026-05-10T12:05:00Z",
  "events": [
    { "id": 1234, "ts": "...", "event_type": "agent_start", "payload": { ... } },
    ...
  ]
}

​

צורות תגובה

{
  "status": "done",
  "scores": { "helpfulness": 0.85, "tool_efficiency": 0.6 },
  "reasoning": {
    "helpfulness": "answered the question directly with citations",
    "tool_efficiency": "called list_files three times when one would have done"
  },
  "summary": "strong answer quality, weak tool selection"
}

{ "status": "pending", "job_id": "abc-123", "next_poll_secs": 30 }

{ "status": "error", "error": "model service unavailable" }

​

כתיבת מעריך עם ה-SDK

import os
from agenteye_evaluator import Evaluator, EvalRequest, EvalResponse

app = Evaluator(token=os.environ["EVALUATOR_TOKEN"])

@app.evaluator
def run(req: EvalRequest) -> EvalResponse:
    # Inspect req.events (the full session transcript) and return scores.
    tool_calls = sum(1 for e in req.events if e.event_type == "tool_use")
    return EvalResponse(
        scores={"tool_calls": float(tool_calls)},
        reasoning={"tool_calls": f"{tool_calls} tool invocations in the transcript"},
        summary="tight tool loop" if tool_calls < 5 else "agent looped on tools",
    )

​

הרצת המעריך שלך

​

הגדרת השרת

​

API reference

​

סינון לפי טווח ציון: score_filters

# helpfulness in [0.5, 0.8]
GET /evaluations?score_filters=helpfulness:0.5..0.8

# tool_efficiency at most 0.3 (no lower bound)
GET /evaluations?score_filters=tool_efficiency:..0.3

# helpfulness >= 0.5 AND factuality >= 0.9
GET /evaluations?score_filters=helpfulness:0.5..,factuality:0.9..

​

הרשאות

​

צפייה בתוצאות

• /sessions/<id>: אירועים ציר זמן + פס ימני המציג את ציוני הסשן וכל שגיאה מניסיון ה-dispatch. אם המפתח שלך כולל evaluations:trigger, כפתור re-evaluate מופיע ליד כפתור ה-export, שימושי לסשנים שמעולם לא פלטו agent_end, או להרעיש ציונים לאחר פריסת מעריך חדש. לוח המחוונים סוקר את התוצאה החדשה ומעדכן את פס הימני כאשר הוא נוחת.
• /sessions: גריד סשנים ניתן לסינון; עמודת הציון מציגה את סטטוס ההערכה וציונים של כל סשן בהצצה.
• /dashboards: צפיות בריאות eval שמורה (ראה לוחות להלן).

​

לוחות

• סינונים: אותם בקרים כמו עמוד הסשנים: סביבה, סטטוס, סוכן, חלון זמן מתגלגל וסינני טווח ציון (key:min..max).
• תצורת תצוגה: איזה מפתחות ציון לתכונה, סף בריאות ירוק/כהה/אדום, איזה פנלים להציג והאם לצמצם לאחרון הערכה לכל סשן.

​

פתרון בעיות

​

שלבים הבאים

• מיומנות סוכן Evaluator: יש לסוכן קידוד עיצוב הממדים שלך כנגד סשנים אמיתיים וביצוע שירות זה בשבילך.
• Python SDK: פלטו את אירועי agent_end שמפעילים דירוג.
• API keys: הרשאות evaluations:read ו-evaluations:trigger.
• Audits: תכונת בריאות אוטומטית נוספת של Observability, לבדיקה מבוססת מדיניות.