LAB · DENEY
Ajan Bellek Mimarisi Deneyi
Özetleme, vektör belleği ve kayan pencere yaklaşımlarını aynı uzun ajan görevinde karşılaştıran ölçüm düzeni. Bellek mimarisi seçimini karara bağlamak isteyen ekipler için, bilgi kaybının hangi turda başladığını görünür kılacak denetim noktaları üzerine kurulur.
Durum
GeliştiriliyorBu projenin girdi tanımları, arayüz tasarımıyla birlikte yayımlanacak.
Ajan Bellek Mimarisi Deneyi henüz yayında değil
Bu proje geliştirme listesinde. Yayına girdiğinde bültenle duyurulacak; çalışan araçları Lab sayfasından görebilirsiniz.
Projenin içi
Kurulum, varsayımlar, ölçüm düzeni ve sınırlılıklar.
Kısa cevap
Bu kayıt bir ölçüm düzenini tarif eder: üç bellek mimarisi aynı görev hattında, aynı denetim noktalarıyla karşılaştırılır.
Soru#
Uzun süren bir ajan görevinde geçmiş turların hangi biçimde taşındığı, ilerleyen adımlarda verilen kararların niteliğini belirler. Aranan cevap şudur: model, araç kümesi ve istem şablonu sabit tutulurken yalnızca bellek mimarisi değiştiğinde bilgi kaybı nerede başlar? Düzen, özetleme, vektör belleği ve kayan pencere yaklaşımlarını tek bir görev hattında yan yana koyar.
Düzen#
Görev hattı, birbirine atıf yapan turlardan oluşan tek bir senaryodur; her turda ajanın önceki turlarda üretilmiş bir bilgiyi geri çağırması gerekir. Bellek mimarisi dışındaki her şey sabitlenir, böylece farkın kaynağı tek değişkene indirgenir. Karşılaştırma tabanı, geçmişin tümünün kesilmeden bağlama sığdığı kısa senaryo sürümüdür; bu sürüm kayıpsız referans kabul edilir.
- Veri: turlar arasında birbirine atıf yapan, uzunluğu kademeli artan senaryo aileleri.
- Karşılaştırma tabanı: geçmişin bütününün bağlama sığdığı kısa sürüm.
- Değişken: bellek mimarisi — özetleme, vektör belleği, kayan pencere.
- Sabitler: model, istem şablonu, araç tanımları, tur sayısı, örnekleme ayarları.
- Ölçüm birimi: tur; her tur için geri çağırma gerektiren en az bir denetim noktası.
Ölçüt#
Değerlendirme cevabın genel kalitesine değil, geri çağırma gerektiren denetim noktalarına bakar. Her denetim noktası için beklenen bilgi deney koşulmadan önce yazılır; puanlama yalnızca bu bilginin cevapta karşılığı olup olmadığını sorar. Akıcı yazılmış ama yanlış hatırlamış cevap geçerli sayılmaz.
| Ölçüt | Ne söyler | Tuzağı |
|---|---|---|
| Denetim noktası isabeti | Beklenen bilginin o turda geri çağrılıp çağrılmadığı | Ajan bilgiyi taşımadan, olasılıkla doğru cevabı tutturabilir |
| İlk kayıp turu | Bilginin kaçıncı turda taşınamaz hale geldiği | Tek turdaki dalgalanma kalıcı kayıp gibi okunabilir |
| Geri çağırma yükü | Bilginin taşınması için harcanan ek adım ve araç çağrısı | Vektör aramasının maliyeti model maliyetiyle karışır |
| Kendisiyle çelişme | Ajanın önceki çıktısına aykırı ifade üretme sıklığı | Yeniden ifade etme, çelişki olarak işaretlenebilir |
Beklenen kırılma noktaları#
- Özetleme, ayrıntının kendisi özete girdiği sürece ayakta kalır; sayısal ya da adlandırılmış ayrıntı özetten düştüğü turda kırılma beklenir.
- Vektör belleğinde, sorgu ile saklanan parçanın örtüşmesi zayıfladığında geri getirme boşa düşer; kayıp kademeli görünür.
- Kayan pencere, atıf mesafesi pencere boyunu aştığı turda bilgiyi bütünüyle bırakır; kırılmanın keskin olması beklenir.
- Aynı bilgiye birden çok turda atıf yapıldığında üç mimaride de kaybın gecikmesi beklenir.
Sınırlılıklar#
Düzen tek bir görev ailesi üzerine kurulduğu için çıkan sıralama göreve bağımlıdır; araç ağırlıklı bir akışta görülen davranış, yazı ağırlıklı bir akışta tekrar etmeyebilir. Denetim noktalarının beklenen cevapları elle yazıldığından değerlendirme bu yazımın titizliği kadar iyidir. Özetleme kolunda özet, kendisi de bir istemle üretildiği için gizli bir ikinci değişken taşır; özet istemi değiştiğinde bu kol diğer ikisiyle karşılaştırılabilirliğini yitirir.
Aracın arkasındaki kavramlar
Hesaplayıcı bir kararı hızlandırır; kararın nedenini kavram girdileri anlatır.
- AI AgentsAI AgentBir hedefi gerçekleştirmek için plan kuran, araç çağıran ve ara sonuçlara göre kendi adımlarını güncelleyen yapay zekâ sistemidir.
- Large Language ModelsContext WindowBir modelin tek seferde dikkate alabileceği toplam token miktarıdır; istem, ek bağlam ve üretilen cevap bu bütçeyi paylaşır.
Lab'dan
- AraçÇalışıyorAI ROI HesaplayıcıSüre tasarrufu ve hata azaltma üzerinden yatırım geri dönüşü tahmini.
- AraçÇalışıyorAjan Adım MaliyetiBir ajan döngüsünün adım sayısı, biriken bağlamı ve kendi fiyatlarınızla toplam token faturasını hesaplar. Adım sınırının neden bir maliyet kararı olduğunu ve bağlam penceresinin kaçıncı adımda dolduğunu görünür kılar.
- Açık KaynakYakındaAjan İzleme KitiAjan döngüsünün her turunu — araç çağrısını, dönen yanıtı ve büyüyen bağlamı — tek bir iz kaydında toplayan kit. Başarısız bir koşunun hangi adımda saptığını sonradan yeniden oynatarak görebilmek için kurulur.
- DemoYakındaAjan Plan Görünümü DemosuAjanın planını adımlar yürümeden önce gösteren, her adımın gerekçesini ve plan değişikliklerini iz bırakacak biçimde tutan arayüz taslağı. Müdahale ve geri sarma noktalarının nereye konması gerektiğini tartışır.
- DeneyYakındaAkıl Yürütme Bütçesi DeneyiDüşünme bütçesi kademe kademe yükseltildiğinde doğruluk kazancının nerede düzleştiğini arayan ölçüm düzeni. Bütçeyi görev türüne göre ayarlamak isteyen ekipler, ek bütçenin karşılığı olup olmadığını kendi görev kümesinde görebilir.
- DeneyYakındaAraç Çağırma GüvenilirliğiAraç şeması kademeli karmaşıklaştırıldığında çağrı hatalarının hangi türde çoğaldığını izleyen ölçüm düzeni. Araç kümesini büyütmeyi planlayan ekipler için bozuk argüman üretimi, tek bir hata sayısı yerine sınıflara ayrılarak yakalanır.
BUILD
Hesap tuttu, sıra uygulamada
Aynı hesabı kendi verinizle yapıp mimariyi kurmak için kurumsal destek alabilirsiniz.