Veri modeli
Etkinlik En küçük veri birimi. Bir etkinlik, aracınızın attığı tek bir adımı kaydeder: birtool_use, bir model_request, bir hook_completed, bir error vb. Aracınız etkinlikleri Python SDK aracılığıyla yayar; bunlar Events sayfasında canlı olarak görünür.
Oturum
Bir aracı çalıştırması, session_id ile tanımlanır. Bir oturum, bu kimliği paylaşan tüm etkinliklerin Sessions sayfasında tek bir satırda toplandığı ve ayrıntı sayfasında bir yürütme grafiği olarak çizildiği haldir. Bir oturum genellikle agent_start ile başlar ve agent_end ile biter.
Aracı
Bir çalıştırma içindeki agent_id ile tanımlanan adlandırılmış bir aktör. Bir çalıştırma birkaç aracı içerebilir: örneğin, bir özet aracı oluşturan bir planlayıcı. Alt aracılar bir parent_id taşır; bu, Failproof AI Observability’nin yürütme grafiğinde onları kendi şeritlerinde çizmesini sağlayan şeydir.
Ortam
Çalıştırmanın nerede gerçekleştiğini gösteren bir etiket: production, staging, dev. SDK’yı yapılandırırken bunu bir kez ayarlarsınız. Hemen hemen her pano sayfası ortama göre filtreleyebilir.
Bağlam penceresi doldurma
Bir modelin bağlam penceresinin bir yanıt tarafından tüketilen yüzdesi. Failproof AI Observability bunu tanıdığı modellerde model_response etkinliklerine damgalar, bu sayede istem büyümesi ve yaklaşan sıkıştırma doğrudan etkinlik akışında görünür.
Kalite
Değerlendirme Çalıştırdığınız bir puanlama hizmeti tarafından üretilen bitmişs oturum için bir kalite puanı. Değerlendirmeler isteğe bağlıdır: bir değerlendiriciye bağlanana kadar oturumlar kaydedilir ancak puanlanmaz. Her değerlendirme birkaç adlandırılmış puan taşıyabilir (örneğinhelpfulness, factuality, tool_efficiency), her biri kısa bir gerekçe notu ile. Bkz. Evaluation suite.
Puan anahtarı
Değerlendirici tarafından bildirilen bir boyutun adı, örneğin helpfulness. Uyarılar ve denetimler belirli bir puan anahtarını zaman içinde izleyebilir.
Değerlendiricisi
Puanlama hizmetiniz. Failproof AI Observability, bitmişs bir çalıştırmanın transkriptini ona POST eder ve döndürdüğü puanları depolar. Varsayılan bir değerlendiricisi göndermiyor; puanlama mantığı sizindir.
Başarısızlıkları bulma ve düzeltme
Hook Aracı çerçevesinin bir adımın etrafında çalıştırdığı bir koruma veya yan etki: içerik güvenliği kontrolü, KŞV redaksiyonu, bütçe koruması. Hook’larhook_triggered / hook_completed etkinlikleri bir outcome (allow, deny, modify) ile yayar ve kendi gözlem sayfasını alırlar.
Uyarı kuralı
Bir metrik ayarladığınız eşiği aştığında ateşlenen bir kural: hata oranı, p95 gecikme, token maliyeti veya bir değerlendiricisi puanı. Bir kural ateşlendiğinde, bir olay açar ve seçtiğiniz kanallara (e-posta, Slack, webhook, pano içi) bildirir. Bkz. Alerts.
Olay
Bir uyarı kuralı ateşlendiğinde açılan açık bir sorun. Olayların bir yaşam döngüsü (kabullenme, atama, çözme) ve her eylemi kaydeden bir etkinlik zaman çizelgesi vardır. Ayrıca manuel olarak da açabilirsiniz.
Denetim
Henüz bir kural yazmadığınız hata kalıpları için oturumlar arasında günlükleri inceleyen yinelenen bir araştırma (saatlik ila haftalık): hata kümeleri, düşük puanlar, gecikme aykırı değerleri, araç çağrısı döngüleri ve hiç bitmemiş çalıştırmalar. Bir uyarı zaten hakkında bildiğiniz bir metriği izlerken, denetim sonra neye bakmanız gerektiğini söyler. Bkz. Audits.
Bulgu
Bir denetim çalıştırmasından sıralanmış, kanıtla desteklenmiş bir sonuç. Bir bulgu bir kalıp adlandırır, arkasındaki tam oturumları bağlar ve triyaj yaşam döngüsü (kabullenme, çözme, sessiz yapma, reddetme) taşır. Failproof AI Observability, bulgularını çalıştırmadan çalıştırmaya yineleme ortadan kaldırır, böylece bilinen bir kalıp birikirmek yerine güncellenir.
AI asistanı
Aracılarınız hakkında sorulara düz İngilizce olarak, kendi verileriniz üzerinde cevap veren pano içi sohbet. Varsayılan olarak salt okunurdur; oluşturduğu herhangi bir şey (kaydedilen sorgu, pano) onay kapısından geçer ve asla silemez. Bkz. AI assistant.
Çalıştırma
Kuruluş (kiracı) Yalıtılmış bir çalışma alanı. Bir Failproof AI Observability örneği birçok kuruluşu barındırabilir, her biri kendi kullanıcıları, anahtarları ve verileri ile. Her pano URL’si kuruluş slug’ınızın altında kapsamlıdır (/<org-slug>/…).
Toplayıcı
agenteye-collector, her aracı makinesinde çalışan, SDK’nın diske yazdığı etkinlikleri toplu hale getiren ve sunucuya gönderen hafif daemon.
API anahtarı
Bir istemciyi sunucuya karşı kimlik doğrulayan kapsamlı bir belirteç. Anahtarlar granüler izinler taşır (örneğin toplayıcı için events:add, pano anahtarı için salt okunur kapsamlar). Bkz. API keys.
Sunucu
Alım ve API hizmeti. Etkinlikleri alır, operasyonel durumu veritabanlarınızda depolar ve panoyu ve CLI’yi sunar.
Pano
Web kullanıcı arabirimi. Her sayfa bir kuruluşun kapsamında ve sunucunun API’si aracılığıyla okunur.
Sonraki adımlar
- Overview: bu parçaların nasıl birbirine uyduğu.
- Observability: gözlem yüzeyleri (Events, Sessions, Models, Tools, Hooks, Errors).