LAB · DENEY
Uzun Bağlamda Bilgi Kaybı
Aynı bilgi bağlam penceresinin farklı yerlerine konduğunda geri çağrılabilirliğinin nasıl değiştiğini gösteren ölçüm düzeni. Uzun istemle çalışan ekipler, pencerenin hangi bölgesini güvenilir sayabileceğini kendi verisi üzerinde görebilir.
Durum
GeliştiriliyorBu projenin girdi tanımları, arayüz tasarımıyla birlikte yayımlanacak.
Uzun Bağlamda Bilgi Kaybı henüz yayında değil
Bu proje geliştirme listesinde. Yayına girdiğinde bültenle duyurulacak; çalışan araçları Lab sayfasından görebilirsiniz.
Projenin içi
Kurulum, varsayımlar, ölçüm düzeni ve sınırlılıklar.
Soru#
Bağlam penceresinin büyümesi, pencereye konan her bilginin eşit ağırlıkta okunduğu anlamına gelmez. Bu düzenin sorduğu soru şudur: aynı bilgi, aynı uzunluktaki bağlamın farklı yerlerine konduğunda geri çağrılma olasılığı konuma göre değişiyor mu? Soru bir model hakkında değil, bir istem tasarımı kararı hakkındadır: kritik bilgi nereye yazılmalı?
Düzen#
Düzen, tek cümlelik bir olgunun doldurma metninin içine gömülmesine dayanır; olgu bağlamın başka hiçbir yerinde geçmez ve modelin ön bilgisinden türetilemeyecek biçimde kurgulanır. Doldurma metni olguyla aynı konudan seçilir; konu dışı doldurma, olguyu üslup farkıyla kendiliğinden öne çıkardığı için ölçümü kolaylaştırır ve bozar. Aynı uzunluk sabitken yalnızca olgunun konumu kaydırılır.
- Değişken: olgunun bağlam içindeki göreli konumu.
- İkinci değişken: bağlamın toplam uzunluğu, kademeli olarak artırılır.
- Sabitler: soru biçimi, istem şablonu, doldurma metninin kaynağı, örnekleme ayarları.
- Karşılaştırma tabanı: olgunun tek başına, doldurmasız verildiği kısa koşul.
- Tekrar: her konum için birbirinden bağımsız birden çok olgu; tek olguya dayanan ölçüm kabul edilmez.
Sonda yerleşimi#
| Konum | Nasıl yerleştirilir | Ne sınanır |
|---|---|---|
| Başlangıç | Doldurmanın ilk bölümüne, yönerge bloğundan sonra | İstemin başındaki bilginin ayrıcalıklı okunup okunmadığı |
| Ortanın öncesi | Birinci çeyrek ile yarı arasında | Düşüşün nerede başladığı, kademeli mi ani mi olduğu |
| Orta | Doldurmanın tam ortasına | Pencere ortasında beklenen en zayıf bölge |
| Sonun öncesi | Yarı ile üçüncü çeyrek arasında | Toparlanmanın hangi noktada başladığı |
| Bitiş | Sorudan hemen önce, doldurmanın sonunda | Soruya yakınlığın isabeti tek başına taşıyıp taşımadığı |
Ölçüt#
Ana ölçüt, olgunun cevapta doğru biçimde geri verilip verilmediğidir; kısmi hatırlama ayrı bir sınıf olarak tutulur. Buna ek olarak modelin bilmediğini söyleme davranışı ayrıca sayılır, çünkü yanlış bir olgu uydurmakla susmak aynı hata değildir. Ölçüm her konum ve her uzunluk kademesi için ayrı raporlanır; tek bir ortalama, düzenin sorduğu soruyu görünmez kılar.
| Ölçüt | Ne söyler | Nerede yanıltır |
|---|---|---|
| Tam geri çağırma | Olgunun eksiksiz ve doğru biçimde verildiğini | Olgu tahmin edilebilirse, geri çağırma olmadan da tutar |
| Kısmi geri çağırma | Olgunun bir parçasının taşındığını | Kısmi kabul eşiği gevşek tutulursa düşüş silinir |
| Bilmediğini söyleme | Modelin olguyu bulamadığında sessiz kalma eğilimini | Genel olarak temkinli davranan model burada iyi görünür |
| Yakın uydurma | Doldurmadan devşirilmiş, olguya benzeyen yanlış cevabı | Elle bakılmazsa tam geri çağırma sayılabilir |
Beklenen kırılma noktaları#
- Uzunluk kademesi arttıkça orta bölgedeki düşüşün belirginleşmesi beklenir.
- Olgu ile soru arasındaki sözcük örtüşmesi azaldığında, konum etkisinden bağımsız bir düşüş beklenir.
- Doldurma metni olguya konu olarak yakınlaştıkça yakın uydurma sınıfının büyümesi beklenir.
- Birden çok olgu aynı bağlama konduğunda, aralarındaki mesafenin de konum kadar etkili olması beklenir.
- Yönergenin istemin başında mı sonunda mı durduğu, kırılma eğrisinin biçimini değiştirebilir.
Sınırlılıklar#
Tek cümlelik gömülü olgu, gerçek bir görevin en kolay halidir; çıkarım ya da birden çok parçanın birleştirilmesini gerektiren işlerde eğrinin aynı kalacağı varsayılamaz. Doldurma metninin seçimi ölçümü doğrudan etkiler ve tümüyle nesnel değildir. Ayrıca düzen bir modelin mimarisi hakkında açıklama üretmez; yalnızca dışarıdan gözlenen davranışı kaydeder.
Aracın arkasındaki kavramlar
Hesaplayıcı bir kararı hızlandırır; kararın nedenini kavram girdileri anlatır.
- Large Language ModelsContext WindowBir modelin tek seferde dikkate alabileceği toplam token miktarıdır; istem, ek bağlam ve üretilen cevap bu bütçeyi paylaşır.
- Deep LearningAttentionBir dizideki her ögenin, çıktı üretilirken diğer ögelere ne kadar ağırlık vereceğini öğrenilebilir biçimde belirleyen mekanizmadır.
Lab'dan
- AraçÇalışıyorAI ROI HesaplayıcıSüre tasarrufu ve hata azaltma üzerinden yatırım geri dönüşü tahmini.
- AraçÇalışıyorAjan Adım MaliyetiBir ajan döngüsünün adım sayısı, biriken bağlamı ve kendi fiyatlarınızla toplam token faturasını hesaplar. Adım sınırının neden bir maliyet kararı olduğunu ve bağlam penceresinin kaçıncı adımda dolduğunu görünür kılar.
- DeneyYakındaAjan Bellek Mimarisi DeneyiÖzetleme, vektör belleği ve kayan pencere yaklaşımlarını aynı uzun ajan görevinde karşılaştıran ölçüm düzeni. Bellek mimarisi seçimini karara bağlamak isteyen ekipler için, bilgi kaybının hangi turda başladığını görünür kılacak denetim noktaları üzerine kurulur.
- Açık KaynakYakındaAjan İzleme KitiAjan döngüsünün her turunu — araç çağrısını, dönen yanıtı ve büyüyen bağlamı — tek bir iz kaydında toplayan kit. Başarısız bir koşunun hangi adımda saptığını sonradan yeniden oynatarak görebilmek için kurulur.
- DemoYakındaAjan Plan Görünümü DemosuAjanın planını adımlar yürümeden önce gösteren, her adımın gerekçesini ve plan değişikliklerini iz bırakacak biçimde tutan arayüz taslağı. Müdahale ve geri sarma noktalarının nereye konması gerektiğini tartışır.
- DeneyYakındaAkıl Yürütme Bütçesi DeneyiDüşünme bütçesi kademe kademe yükseltildiğinde doğruluk kazancının nerede düzleştiğini arayan ölçüm düzeni. Bütçeyi görev türüne göre ayarlamak isteyen ekipler, ek bütçenin karşılığı olup olmadığını kendi görev kümesinde görebilir.
BUILD
Hesap tuttu, sıra uygulamada
Aynı hesabı kendi verinizle yapıp mimariyi kurmak için kurumsal destek alabilirsiniz.