Değerlendirme Paketi

Not: Puan boyutlarını siz tanımlarsınız. Değerlendiricininiz istediği sayısal anahtarları döndürebilir; Observability geri gönderdiğiniz her şeyi depolar, trendini oluşturur ve görüntüler.

​

Bakış

1. Bir puanlayıcı yazın. Oturum transkriptini okuyan ve puanlar döndüren küçük bir HTTP hizmeti kurun. Observability, kopyalayabileceğiniz çalışan bir referans seviyesiyle gelir. Bkz. SDK ile Değerlendirici Yazma.
2. Observability’yi ona gösterin. Sunucu işlemine EVALUATOR_ENDPOINT (ve paylaşılan EVALUATOR_TOKEN) ayarlayın.
3. Puanları izleyin. Her tamamlanan oturum otomatik olarak puanlandırılır; sonuçlar oturum detay sayfasında, oturumlar ızgarasında ve kaydedilmiş panolarda görünür.

​

Nasıl çalışır?

• Sonucu satır içi döndürün {"status":"done", "scores":{...}, "reasoning":{...}, "summary":"..."} ile. Sonuç oturumun değerlendirme zaman çizelgesine eklenir. reasoning ve summary isteğe bağlıdır.
• Erteleyin {"status":"pending", "job_id":"abc-123"} ile. Observability daha sonra değerlendiricininiz {"status":"done", ...} veya {"status":"error", "error":"..."} döndürene kadar GET {EVALUATOR_ENDPOINT}/evaluate/abc-123 çağrısını yapar. Yoklama sıklığı iş başına değişir: pending yanıtı next_poll_secs içerebilir; aksi takdirde Observability GET /config yapılandırıcısından default_poll_interval_secs değerini kullanır; aksi takdirde sunucu EVALUATOR_POLLING_INTERVAL_SECS (varsayılan 10s) değerine geri döner. Tüm değerler [1s, 1h] aralığına sabitlenir.

​

HTTP sözleşmesi

• Observability sunucusu: ortam değişkeni EVALUATOR_TOKEN
• Değerlendirici hizmeti: aynı şekilde yapılandırılmış (agenteye-evaluator SDK kuralı gereği EVALUATOR_TOKEN okur)

​

Değerlendiricinin sunması gereken rotalar

​

Sunucu tarafından gönderilen EvalRequest gövdesi

{
  "schema_version": "1",
  "session_id":     "session-abc123",
  "agent_id":       "planner",
  "environment":    "production",
  "started_at":     "2026-05-10T12:00:00Z",
  "ended_at":       "2026-05-10T12:05:00Z",
  "events": [
    { "id": 1234, "ts": "...", "event_type": "agent_start", "payload": { ... } },
    ...
  ]
}

​

Yanıt şekilleri

{
  "status": "done",
  "scores": { "helpfulness": 0.85, "tool_efficiency": 0.6 },
  "reasoning": {
    "helpfulness": "answered the question directly with citations",
    "tool_efficiency": "called list_files three times when one would have done"
  },
  "summary": "strong answer quality, weak tool selection"
}

{ "status": "pending", "job_id": "abc-123", "next_poll_secs": 30 }

{ "status": "error", "error": "model service unavailable" }

​

SDK ile Değerlendirici Yazma

import os
from agenteye_evaluator import Evaluator, EvalRequest, EvalResponse

app = Evaluator(token=os.environ["EVALUATOR_TOKEN"])

@app.evaluator
def run(req: EvalRequest) -> EvalResponse:
    # Inspect req.events (the full session transcript) and return scores.
    tool_calls = sum(1 for e in req.events if e.event_type == "tool_use")
    return EvalResponse(
        scores={"tool_calls": float(tool_calls)},
        reasoning={"tool_calls": f"{tool_calls} tool invocations in the transcript"},
        summary="tight tool loop" if tool_calls < 5 else "agent looped on tools",
    )

​

Değerlendiricininizi Çalıştırma

​

Sunucuyu Yapılandırma

​

API başvurusu

​

Puan aralığına göre filtreleme: score_filters

# helpfulness in [0.5, 0.8]
GET /evaluations?score_filters=helpfulness:0.5..0.8

# tool_efficiency at most 0.3 (no lower bound)
GET /evaluations?score_filters=tool_efficiency:..0.3

# helpfulness >= 0.5 AND factuality >= 0.9
GET /evaluations?score_filters=helpfulness:0.5..,factuality:0.9..

​

İzinler

​

Sonuçları Görüntüleme

• /sessions/<id>: olay zaman çizelgesi + oturumun puanlarını ve gönderme denemesinden herhangi bir hatayı gösteren sağ panel. Anahtarınız evaluations:trigger izniyle gelirse, export düğmesinin yanında yeniden değerlendirme düğmesi görünür, agent_end yaymayan oturumlar için veya yeni bir değerlendirici dağıttıktan sonra puanları yenilemek için yararlıdır. Pano yeni sonuç için yoklar ve iniş yaptığında sağ paneli günceller.
• /sessions: filtrelenebilir oturum ızgarası; puan sütunu her oturumun değerlendirme durumunu ve puanlarını bir bakışta gösterir.
• /dashboards: kaydedilmiş eval-sağlığı görünümleri (aşağıdaki Panolar öğesine bakın).

​

Panolar

• Filtreler: oturumlar sayfasıyla aynı denetimler: ortam, durum, agent, kayan bir zaman penceresi ve puan aralığı filtreleri (key:min..max).
• Bir görüntü yapılandırması: hangi puan anahtarlarının öne çıkarılacağı, yeşil/turuncu/kırmızı sağlık eşikleri, hangi panelerin gösterileceği ve oturum başına en son değerlendirmeye daraltılıp daraltılmayacağı.

​

Sorun Giderme

​

Sonraki adımlar

• Değerlendirici agent becerisi: kodlama agent’ının boyutlarınızı gerçek oturumlara karşı tasarlaması ve bu hizmeti sizin için oluşturması.
• Python SDK: puanlamayı tetikleyen agent_end olaylarını yayın.
• API anahtarları: evaluations:read ve evaluations:trigger izinleri.
• Denetimler: Observability’nin diğer otomatik kalite özelliği, ilke tabanlı inceleme için.