LAB · AÇIK KAYNAK
Ajan İzleme Kiti
Ajan döngüsünün her turunu — araç çağrısını, dönen yanıtı ve büyüyen bağlamı — tek bir iz kaydında toplayan kit. Başarısız bir koşunun hangi adımda saptığını sonradan yeniden oynatarak görebilmek için kurulur.
Durum
GeliştiriliyorBu projenin girdi tanımları, arayüz tasarımıyla birlikte yayımlanacak.
Ajan İzleme Kiti henüz yayında değil
Bu proje geliştirme listesinde. Yayına girdiğinde bültenle duyurulacak; çalışan araçları Lab sayfasından görebilirsiniz.
Projenin içi
Kurulum, varsayımlar, ölçüm düzeni ve sınırlılıklar.
Ne çözüyor?#
Ajan koşusu tek bir istek gibi loglandığında, birkaç tur sonra ortaya çıkan hatanın kaynağı kayıtta görünmez: bağlamın nasıl büyüdüğü, hangi araç yanıtının beklenen biçimde gelmediği ve modelin hangi adımda yön değiştirdiği kaybolur. Kit döngüyü tur tur kaydediyor ve her turu önceki turun çıktısına bağlıyor. Kayıt, koşuyu aynı girdilerle yeniden yürütmeye yetecek ayrıntıyı taşıyor.
Bileşenler#
| Parça | Sorumluluğu |
|---|---|
| Koşu künyesi | Girdiyi, başlangıç bağlamını ve koşuyu başlatan yüzeyi tek kayıtta sabitler. |
| Adım kaydedici | Her turda modele giden istemi, dönen kararı ve seçilen aracı sırayla yazar. |
| Araç aracısı | Araç çağrısını sarar; istek, yanıt, süre ve hata durumunu araç adıyla birlikte kaydeder. |
| Bağlam ölçeri | Tur başına bağlamın hangi parçalardan oluştuğunu ve neyin kırpıldığını not eder. |
| Yeniden oynatıcı | Kaydedilmiş araç yanıtlarını kullanarak koşuyu yeniden yürütür; canlı araca gitmez. Model yeniden çağrıldığı için karar kayıttan ayrışabilir; oynatıcı ayrışmanın başladığı turu işaretler. |
| Sapma işaretçisi | Tekrar eden tur, aynı aracın üst üste çağrılması gibi kalıpları kayıt üzerinde işaretler. |
Kurulum akışı#
- 1Araç çağrılarını sar
Her aracı kitin aracısı üzerinden geçir; sarılmamış tek bir doğrudan çağrı bile izi kopuk bırakır.
- 2Tur sınırını tanımla
Döngünün bir turunu neyin bitirdiğini açıkça belirle; kayıt bu sınıra göre bölünür ve karşılaştırmalar buna dayanır.
- 3Hassas alanları maskele
Kişisel veri ve kimlik bilgisi taşıyan alanları kayıt diske yazılmadan önce maskeleme geçişinden çıkar.
- 4Yeniden oynatmayı bağla
Başarısız bir koşuyu kayıttan yeniden yürüten komutu geliştirme akışına ekle ki inceleme canlı koşu beklemeden başlayabilsin.
İz kaydının ayrıntı seviyesi#
- En yüzeysel seviye yalnızca tur sırasını ve araç adlarını tutar; hatanın yerini gösterir, nedenini göstermez.
- Orta seviye araç istek ve yanıt gövdelerini ekler; yeniden oynatma ancak bu seviyeden itibaren mümkün olur.
- En ayrıntılı seviye modele giden tam istemi saklar; kayıt boyutu ve gizlilik yükü de burada belirginleşir.
- Seviye koşu bazında seçilebilir olmalı: hata ayıklanan akışta ayrıntılı, rutin koşuda yüzeysel.
- Seviye değişse bile kaydın şeması değişmemeli; eksik alan boş bırakılır, alan adı değiştirilmez.
Yapılandırmaya bırakılan kararlar#
| Karar | Seçenekler | Neye bağlı |
|---|---|---|
| Kayıt hedefi | Dosya, belge veritabanı, ayrı izleme hizmeti | Kaydı kimin okuyacağı ve ne kadar süre tutulacağı |
| Örnekleme | Tüm koşular, yalnız hatalı koşular, oranla örnekleme | Koşu hacmi ve saklama maliyeti |
| Maskeleme | Alan listesine göre, desenle, kayıt öncesi ayrı geçişte | Girdideki kişisel veri yoğunluğu |
| Saklama süresi | Kısa hata ayıklama penceresi, denetim için uzun süre | Hukuki gereklilik ve depolama bütçesi |
| Yeniden oynatma kapsamı | Yalnız okuma araçları, tüm araçlar kayıttan, canlı araçla karışık | Araçların yan etkili olup olmadığı |
Kapsam dışı#
Kitin sınırı ajan döngüsünün kendisi. Ölçüm panosu, uyarı kuralları, dağıtık izlemenin diğer hizmetlerle bağlanması ve maliyet muhasebesi başka araçların işi; kit yalnızca tur kaydını üretip okunabilir tutuyor. Kaydın kendisi bir değerlendirme de değil: koşunun doğru sonucu verip vermediği sorusu ayrı bir değerlendirme hattının işi.
Aracın arkasındaki kavramlar
Hesaplayıcı bir kararı hızlandırır; kararın nedenini kavram girdileri anlatır.
- AI AgentsAI AgentBir hedefi gerçekleştirmek için plan kuran, araç çağıran ve ara sonuçlara göre kendi adımlarını güncelleyen yapay zekâ sistemidir.
- MLOps / LLMOpsLLMOpsDil modeli tabanlı uygulamaların istem, bağlam, araç ve model sürümlerini izlenebilir, ölçülebilir ve geri alınabilir biçimde işletme pratiğidir.
Lab'dan
- AraçÇalışıyorAI ROI HesaplayıcıSüre tasarrufu ve hata azaltma üzerinden yatırım geri dönüşü tahmini.
- AraçÇalışıyorAjan Adım MaliyetiBir ajan döngüsünün adım sayısı, biriken bağlamı ve kendi fiyatlarınızla toplam token faturasını hesaplar. Adım sınırının neden bir maliyet kararı olduğunu ve bağlam penceresinin kaçıncı adımda dolduğunu görünür kılar.
- DeneyYakındaAjan Bellek Mimarisi DeneyiÖzetleme, vektör belleği ve kayan pencere yaklaşımlarını aynı uzun ajan görevinde karşılaştıran ölçüm düzeni. Bellek mimarisi seçimini karara bağlamak isteyen ekipler için, bilgi kaybının hangi turda başladığını görünür kılacak denetim noktaları üzerine kurulur.
- DemoYakındaAjan Plan Görünümü DemosuAjanın planını adımlar yürümeden önce gösteren, her adımın gerekçesini ve plan değişikliklerini iz bırakacak biçimde tutan arayüz taslağı. Müdahale ve geri sarma noktalarının nereye konması gerektiğini tartışır.
- DeneyYakındaAkıl Yürütme Bütçesi DeneyiDüşünme bütçesi kademe kademe yükseltildiğinde doğruluk kazancının nerede düzleştiğini arayan ölçüm düzeni. Bütçeyi görev türüne göre ayarlamak isteyen ekipler, ek bütçenin karşılığı olup olmadığını kendi görev kümesinde görebilir.
- DeneyYakındaAraç Çağırma GüvenilirliğiAraç şeması kademeli karmaşıklaştırıldığında çağrı hatalarının hangi türde çoğaldığını izleyen ölçüm düzeni. Araç kümesini büyütmeyi planlayan ekipler için bozuk argüman üretimi, tek bir hata sayısı yerine sınıflara ayrılarak yakalanır.
BUILD
Hesap tuttu, sıra uygulamada
Aynı hesabı kendi verinizle yapıp mimariyi kurmak için kurumsal destek alabilirsiniz.