Skip to main content
Failproof AI Observability, üretim ortamında AI ajanlarınızı gözlemlemek, değerlendirmek ve geliştirmek için kendi sunucunuzda çalışan bir platformdur. Ajanlarınızın yaptığı her şeyi kaydeder (her araç çağrısı, model isteği, hook ve hata), her çalıştırmanın kalitesini puanlandırır ve bilmediğiniz hataları ortaya çıkarır — tamamı kendi altyapınızda çalıştırdığınız bir panoda. AI ajanları yayınladıysanız ve bir çalıştırmanın neden başarısız olduğunu tahmin etmekten bıktıysanız, burası başlamanız gereken sayfa. Failproof AI Observability’nin size ne sunduğunu ve parçaların nasıl bir araya geldiğini açıklar; herhangi bir şey yüklemeden önce okuyun.
Failproof AI Observability, Failproof AI’dan bir kurumsal üründür. Canlı olarak görmek ister misiniz? Bir demo talep edin: nikita@befailproof.ai adresine e-posta gönderin.
Failproof AI Observability oturumu, git tarzı bir yürütme grafiği olarak çizilmiş, yanında olay zaman çizelgesi ve sağ panelde araçlar, modeller ve hooklar ayrıntısı Her ajan çalıştırması, git tarzı bir yürütme grafiği (sol) olarak çizilmiş ve yanında olay zaman çizelgesi vardır. Paralel alt ajanların her birinin kendi şeridi vardır; sağ panel, çalıştırmanın araçlarını, modellerini, hooklarını ve token harcamasını ayrıntılarıyla gösterir.

​
Canlı olarak görmek

İki kısa video, ekiplerin ilk başta yaptığı iki şeyi gösterir: bir çalıştırmayı izlemek ve hataları otomatik olarak bulma.
Ajan izleme: hedeften araçlara ve son cevaba kadar tek bir çalıştırmayı adım adım izleyin.
Failproof Audit: Failproof AI Observability’nin günlüklerinizi oturumlar arasında analiz etmesine izin verin ve ne düzeltmesi gerektiğini öğrenin.

​
Ekipler neden kullanıyor

  • Ajanınızın gerçekte ne yaptığını görün. Her çalıştırma okunabilir bir git tarzı yürütme grafiğine dönüşür: hangi araçlar paralel çalıştı, hangi alt ajanlar dallandı, nerede durdu ve ne harcadı.
  • Kalite gerilemeşini otomatik olarak yakalayın. Küçük bir puanlama hizmetini bağlayın ve Failproof AI Observability her tamamlanan çalıştırmayı puanlandırır; böylece yardımcılıkta düşüş veya halüsinasyonlarda artış kendi kendine ortaya çıkar.
  • Kuralı yazacağınızı bilmediğiniz hataları bulun. Yinelenen denetimler, günlüklerinizi oturumlar arasında hata kümeleri, gecikme aykırı değerleri, düşük puanlar ve takılı çalıştırmalar açısından analiz eder, ardından size sıralanmış, kanıtla desteklenmiş bulgular sunar.
  • Önemli olduğunda sayfa alın. Eşik kuralları hata oranı, gecikme, maliyet veya değerlendirici puanlarında çalışır ve yanıtlayabileceğiniz, atayabileceğiniz ve çözebileceğiniz olaylar açar.
  • Düz İngilizcede sorular sorun. Panoda yer alan bir AI asistanı, kendi verileriniz üzerinde „bu hafta üretimde kalite nasıl gelişiyor?” gibi soruları yanıtlar. Yaptığı her değişiklik onay geçidir.
  • Verilerinizi tutun. Failproof AI Observability kendi sunucunuzda çalışır: olaylar, istemler ve analizler kontrol ettiğiniz altyapıda kalır.

​
Ne alıyorsunuz

Failproof AI Observability, üç fikir etrafında organize edilmiştir (gözlemle, analiz et ve yönet), panelin sol kenar çubuğuna yansıtılır. Gözlemle (ne olduğunun ham gerçeği):
  • Olay akışı: her çalıştırmanın canlı, adım adım izi (araç çağrıları, model çağrıları, hooklar, hatalar).
  • Oturumlar: bu olaylar, çalıştırma başına bir satır halinde, her biri puanlandırılmaya hazır, git tarzı bir yürütme grafiği ile birlikte sunulur.
  • Performans metrikleri: yüzey başına gecikme harita grafikleri ve modeller, araçlar ve hooklar için p50/p95/p99 vitalleri; böylece kuyruk artışı ortalamanın dışında görünür.
  • Hata izleme: her şeyin ters gittiği tek bir işlem yüzeyinde; bir uyarının ateşlenmesinden tek bir tıkla uzak.
Tools gözlemle sayfası: gecikme harita grafiği, yüzdelik dilim bandı ve 24 zaman kutusu üzerinde araç dağılım çubuğu Her gözlemle yüzeyi, bir kıvılcım çizgisi ve p50/p95/p99 vitalleriyle bir gecikme harita grafiği ve yüzdelik dilim bandını eşleştirir. Gösterilen: Araçlar. Analiz et (etkinliği cevaplara dönüştürün):
  • Sorgular ve panolar: olaylarınız ve değerlendirmeleriniz üzerinde kaydedilmiş SQL, paylaşılan, kurum kapsamı panolara çizilmiştir.
  • Değerlendirmeler: kendi değerlendirici hizmetiniz tarafından üretilen kalite puanları, puan başına akıl yürütmesi ile.
  • Denetimler: oturumlar arasında hata modellerini ortaya çıkaran yinelenen araştırmalar.
  • Uyarılar ve olaylar: sizi sayfaya alan eşik kuralları, artı bunları işlemek için bir olay iş akışı.
Arayüzler (verilerinize kendi yolunuzla ulaşın):
  • CLI: tüm dağıtımınızı terminalden veya bir betikten çalıştırın ve bir kodlama ajanının bunu düz İngilizcede yapmasına izin verin.
  • AI asistanı: ajanlarınız hakkında düz İngilizcede soru sorun, doğrudan panoda.
  • REST API: panelin ve CLI’nin yaptığı her şey, kapsamlı bir API anahtarı ile doğrudan çağırabileceğiniz bir REST API tarafından desteklenir — olayları alın, oturumları ve değerlendirmeleri sorgulayın ve panoları, uyarıları, denetimleri, kullanıcıları ve anahtarları yönetin; böylece Failproof AI Observability’yi kendi araçlarınızla entegre edin.
Yönet (ekibiniz için çalıştırın):
  • API anahtarları: toplayıcı, pano ve asistan için kapsamlı jetonlar.
  • Kullanıcılar: şifresiz, e-posta tabanlı oturum açma ve izin listesiyle.
  • Ayarlar: kurum başına yapılandırma, model bağlam penceresi geçersiz kılmalar dahil.

​
Parçalar nasıl bir araya gelir

Veri bir yönde akar, ajan kodunuzdan panoya: ajanınız (Python SDK aracılığıyla) agenteye-toplayıcıya olaylar yayınlar; bu olaylar sunucuya gönderilir ve sunucu panoyu sunar. İki isteğe bağlı hizmet bunu tamamlar — bir puanlama hizmet (değerlendirmeler) ve bir AI asistan hizmet (panoda sohbet).
  • Python SDK: ajanınıza birkaç agenteye.event.* çağrısı eklersiniz; olaylar yerel olarak arabelleğe alınır.
  • agenteye-toplayıcı: her ajan makinesinde, olayları toplu olarak işleyen ve sunucuya gönderen hafif bir daemon.
  • Sunucu: olaylarınızı alır, operasyonel durumu kendi veritabanlarınızda tutar ve pano, CLI ve kendi entegrasyonlarınızın hepsinin kullandığı REST API’yi sunar.
  • Pano: her şeyi keşfettiğiniz yer.
  • İsteğe bağlı hizmetler: bir puanlama hizmet (değerlendirmeler) ve bir AI asistan hizmet (panoda sohbet).
Belgeler genelinde kullanılan kelime dağarcığı (olay, oturum, değerlendirme, denetim, bulgu, olay) için bkz. Kavramlar.

​
Failproof AI Observability’yi Almak

Failproof AI Observability, Failproof AI’dan bir kurumsal üründür ve Failproof AI Enforcement — politika ve korkuluk ürünü — ile Failproof AI markası altında birlikte çalışır. Tamamen kendi ortamınızda çalışır. Paketlere henüz erişiminiz yoksa, bir demo talep edin ve sizi hazırlayacağız: nikita@befailproof.ai adresine e-posta gönderin.

​
Sonraki adımlar

  • Kavramlar: Failproof AI Observability kelime dağarcığı bir yerde.
  • Observabilite: ajanlarınızın ne yaptığını, çalıştırmayı izleyin.
  • Güvenlik: Failproof AI Observability verilerinizi nasıl izole tuttuğu ve kontrol altında tuttuğu.