Evaluator sdk

​

title: “Evaluator SDK” description: “Failproof AI oturumlarını senkron veya asenkron olarak değerlendiren bir hizmet oluşturun.” icon: “gauge”

​

Değerlendirici kurma

pip install failproofai-sdk uvicorn

import os
from failproofai.evaluator import Evaluator, EvalResponse

app = Evaluator(token=os.environ.get("EVALUATOR_TOKEN"))

@app.config
def config():
    return {"inactivity_timeout_secs": 1800}

@app.evaluator
def evaluate(req):
    tool_errors = sum(
        1 for item in req.events
        if item.event_type == "tool_result" and item.payload.get("error")
    )
    return EvalResponse(
        scores={"tool_reliability": 1.0 if tool_errors == 0 else 0.0},
        reasoning={"tool_reliability": f"{tool_errors} tool errors"},
    )

export EVALUATOR_TOKEN=<shared-token>
uvicorn evaluator:app --host 0.0.0.0 --port 8080

curl http://127.0.0.1:8080/health

​

Değerlendiriciyi Failproof AI ile bağlayın

1. Değerlendiriciyi Failproof AI Cloud tarafından erişilebilir bir HTTPS URL’sine dağıtın.
2. EVALUATOR_ENDPOINT değerini bu URL ile yapılandırın ve EVALUATOR_TOKEN değerini değerlendirici tarafından kullanılan aynı token olarak ayarlayın. Yönetilen Cloud için, bağlantıyı yapılandırmak amacıyla support@befailproof.ai ile iletişime geçin.
3. Bir değerlendirme çalıştırın ve puanlarının Failproof AI’da göründüğünü doğrulayın.

• Kontrol Paneli
• CLI

Observe → Sessions altında tamamlanmış bir oturumu açın ve otomatik olarak değerlendirilmemişse Run evaluation seçeneğini seçin. Oturumun Evaluation panelindeki durumu, puanları, mantığı ve özeti gözden geçirin.Aracılar veya ortamlar arasında puanları karşılaştırmak için Observe → Evaluations kullanın. Gecikme süresi, maliyet, token ve diğer sayısal ölçümler için Observe → Metrics kullanın.Değerlendiricinin beklenen puan anahtarlarını ve o spesifik çalıştırma için yararlı bir mantık döndürdüğünü doğrulamak için tek bir oturumla başlayın.Bireysel sonuçlar doğru göründüğünde, bu puanları zaman içinde ve aracılar veya ortamlar arasında karşılaştırmak için değerlendirme kontrol panelini kullanın.Sağlıklı bir grafik istikrarlı puan adlarını kullanmalıdır; bir anahtarın yeniden adlandırılması ayrı bir seri oluşturur.

fp evals --since 1h --score tool_reliability:0..1
fp evals --since 24h --aggregate

​

SDK türleri

​

Dekoratörler ve rotalar

​

Asenkron çalışmayı döndürün

from failproofai.evaluator import EvalRequest, EvalResponse, Evaluator, JobPending

app = Evaluator(token="shared-secret")

@app.evaluator
def start(req: EvalRequest) -> JobPending:
    job_id = enqueue(req)
    return JobPending(job_id=job_id, next_poll_secs=30)

@app.job_lookup
def lookup(job_id: str):
    result = get_result(job_id)
    if result is None:
        return JobPending(job_id=job_id, next_poll_secs=30)
    return EvalResponse(
        scores=result.scores,
        reasoning=result.reasoning,
        summary=result.summary,
    )

​

İstek ve yanıt alanları

​

Sunucu operatörü ayarları

​

Güvenlik ve operasyonlar

• Trafik güvenilir bir ağ sınırını geçtiğinde değerlendiriciyi HTTPS’nin arkasına yerleştirin.
• Boş olmayan bir taşıyıcı token yapılandırın ve her iki hizmette de aynı tutun.
• Token’i veya istek yüklerinden tam hassas istemler günlüğe kaydetmeyin.
• Senkron işleyicileri idempotent yapın; yeniden denemeler bir isteği tekrar edebilir.
• Asenkron iş durumunu üretim ortamında işlem belleği dışında kalıcı hale getirin.
• İstikrarlı puan anahtarları döndürün. Bir anahtarı yeniden adlandırmak eski olanı değiştirmek yerine yeni bir grafik serisi oluşturur.