RAG kalitesi neredeyse tamamen geri getirmede belirlenir

Tez#

RAG sistemlerinde iyileştirme talebi neredeyse her zaman aynı biçimde geliyor: cevaplar yetersiz, daha iyi bir modele geçelim. Bu refleks anlaşılır — model değiştirmek tek satırlık bir iş, parçalama stratejisini yeniden kurmak haftalar sürüyor. Ama sıralama yanlış. Bir RAG sisteminde cevabın üst sınırını modelin yeteneği değil, modele verilen bağlamın kalitesi belirler.

Nedeni yapısal. Model yalnızca gördüğü metin üzerinden akıl yürütebilir. İlgili belge geri getirilmediyse, model o bilgiyi üretmek zorunda kalır — ve ürettiği şey halüsinasyondur. İlgili belge getirildi ama parça sınırı bilgiyi ortadan kesmişse, model yarım bilgiyle tam cümle kurar. Yanlış belge getirildiyse durum en kötüsüdür: model kaynağa dayanarak, kaynak göstererek, güvenle yanlış cevap verir. Okur bu cevabı denetlerken kaynağı görür ve doğru sanır. Kaynaklı yanlış, kaynaksız yanlıştan daha pahalıdır çünkü şüphe uyandırmaz.

Bağlam: kaldıraçların gerçek gücü#

Bir RAG sistemini iyileştirmenin birden çok yolu var ve hepsi aynı ağırlıkta değil. Aşağıdaki tablo, sık başvurulan müdahaleleri hangi hata sınıfını çözdüklerine ve hangi maliyete geldiklerine göre karşılaştırıyor. Sıralama editoryal bir değerlendirmedir; ekibinizin darboğazı farklıysa öncelik de farklı olur.

Tablonun pratik okuması şu: model yükseltmek, cevabın ifade kalitesini ve akıl yürütme derinliğini iyileştirir. Bunlar gerçek kazançlardır. Ama bağlam yanlışsa daha iyi model, yanlış bağlamdan daha inandırıcı bir yanlış cevap üretir. İyileşme hissi vardır, doğruluk artışı yoktur. Ekipler bunu genellikle gözle değerlendirdikleri için fark etmiyor; ayrı bir geri getirme ölçümü olmadan bu ayrım görülemez.

Kanıt: iki ölçümü ayırmak#

Bu tezin doğrulanabilir hâle gelmesi tek bir yöntemsel ayrıma bağlı: geri getirme kalitesini üretim kalitesinden ayrı ölçmek. Bu ayrım yapılmadığında "cevap kötü" cümlesi teşhis taşımaz; yapıldığında hangi katmanın kusurlu olduğu doğrudan görünür.

1. 1Soru–belge çiftleri hazırlayın

   En az elli soru için hangi belgenin cevabı içerdiğini elle işaretleyin. Bu, geri getirme ölçümünün referans kümesidir ve üretim ölçümünden bağımsızdır.

2. 2İlk k içinde gelme oranını ölçün

   Sistem ilgili belgeyi ilk k sonuç içinde getiriyor mu? Bu tek sayı, geri getirme katmanının sağlığını üretimden bağımsız söyler.

3. 3Üretim kalitesini ayrı ölçün

   Aynı sorulara, doğru bağlam elle verilerek cevap üretin. Bu koşulda cevap iyiyse sorun geri getirmede; kötüyse sorun üretimde.

4. 4Farkı raporlayın

   İki ölçüm arasındaki açıklık, iyileştirme bütçesinin nereye gitmesi gerektiğini doğrudan gösterir. Tek bir birleşik skor bu bilgiyi yok eder.

5. 5Alıntı doğruluğunu ayrıca ölçün

   Cevapta gösterilen kaynak, o cümleyi gerçekten destekliyor mu? Bu ölçüm, kaynaklı yanlışları yakalayan tek mekanizmadır.

Üçüncü adım özellikle aydınlatıcı. Doğru bağlamı elle verdiğinizde cevaplar belirgin biçimde iyileşiyorsa, model zaten yeterlidir ve tüm iyileştirme bütçesi geri getirmeye gitmelidir. Bu basit deney, model yükseltme kararlarının büyük bölümünü gereksiz kılıyor ve kurulması yarım gün sürüyor.

Mekanizma: neden parçalama bu kadar belirleyici#

Parçalama, RAG hattının en sessiz ve en belirleyici adımı. Sessiz, çünkü bir kez yapılır ve sonra görünmez olur; belirleyici, çünkü geri getirilebilecek en küçük birimi o tanımlar. Parça bir tanımı ortadan kesiyorsa, o tanım hiçbir arama stratejisiyle tam olarak getirilemez — arama yalnızca var olan parçalar arasından seçim yapar.

Bu yüzden parça boyutu sorusunun tek bir doğru cevabı yok ve olduğunu söyleyen kaynağa güvenilmemeli. Kendi içinde bütünlük taşıyan bölümleri olan belgelerde — yönetmelik maddesi, SSS girdisi, API referansı — parça o doğal sınıra oturtulur. Akan anlatıda ise örtüşmeli sabit uzunluk çalışır. Karar sezgiyle değil, soru–belge çiftlerinden kurulu bir geri getirme setiyle ölçülerek verilir. Türkçe metinde ek bir katman var: eklemeli yapı nedeniyle aynı kökün onlarca yüzey biçimi olduğu için sözcüksel eşleşme normalizasyon olmadan kayba uğrar ve tokenleştiriciler Türkçeyi daha çok parçaya böldüğü için aynı metin daha fazla token eder — bu da parça boyutu kararını doğrudan etkiler.

Karşı görüş#

En ciddi karşı iddia bağlam pencerelerinin büyümesinden geliyor: eğer bir milyon token bağlam varsa, seçmek yerine her şeyi koymak mümkün hâle gelir ve geri getirme kalitesi bir darboğaz olmaktan çıkar. Bu iddia teknik olarak doğru bir gözleme dayanıyor ve bazı iş yüklerinde gerçekten geçerli.

Tüm sözleşmeyi bağlama koyduk ve doğruluk arttı. Sonra maliyet tablosunu gördük: aynı soruyu yanıtlamanın bedeli kırk kat artmıştı ve gecikme kullanıcı için kabul edilemez hâle gelmişti.

Ancak bu iddia geri getirmeyi gereksiz kılmıyor, işlevini değiştiriyor. Üç neden sayılabilir. Birincisi maliyet: her istekte yüz binlerce token göndermek, seçerek göndermekten büyüklük mertebesinde pahalıdır ve bu fark ölçekte kapanmıyor, açılıyor. İkincisi dikkat dağılımı: uzun bağlamda ortada kalan bilginin baştaki ve sondakine göre daha az kullanıldığı gözlemi, sığdırmanın kullanılmayı garanti etmediğini gösteriyor. Üçüncüsü ve en önemlisi yetki: bir belgeyi bağlama koymak, o belgeyi o kullanıcıya göstermek demektir. Geri getirme yalnızca sığdırma işi değil, kimin neyi görebileceğini süzme işidir ve bu işlev bağlam penceresi ne kadar büyürse büyüsün ortadan kalkmaz.

Sınırlar ve belirsizlik#

Tez "neredeyse tamamen" diyor, "tamamen" demiyor ve bu ayrım önemli. Geri getirme doğru olduğu hâlde cevabın kötü olduğu gerçek bir hata sınıfı var: model doğru parçayı görüp yanlış yorumluyor. Bu sınıf küçük ama sıfır değil ve model kalitesiyle iyileşir.

• Oranlar ölçülmedi: geri getirme kaynaklı hataların üretim kaynaklı hatalara oranı ekibe, veriye ve soru tipine göre değişiyor; genel bir yüzde verilemez.
• Akıl yürütme ağırlıklı sorular istisna: birden çok belgeden sentez gerektiren sorularda üretim katmanının ağırlığı belirgin biçimde artıyor.
• Uzun bağlam ekonomisi değişken: token fiyatları ve önbellek indirimleri denklemi değiştiriyor; bugünkü maliyet karşılaştırması kalıcı değil.
• Alıntı doğrulama otomasyonu olgun değil: kaynağın cümleyi gerçekten destekleyip desteklemediğini ölçmek hâlâ büyük ölçüde elle yapılıyor.

Sonuç#

RAG iyileştirmesinde kaldıraçların sırası, çaba sırasının tersidir. En az çaba gerektiren müdahale — model yükseltmek — bağlam kaynaklı hataların hiçbirini çözmez. En çok çaba gerektiren müdahaleler — parçalama, hibrit arama, yetki sınırı — belirleyici olanlardır. Bu tersliği görmeyen ekipler, her model kuşağında bir kez daha yükseltme yapıp aynı sorunla kalıyor.

Uygulamada tek bir kural bu tersliği düzeltmeye yeter: geri getirme kalitesini üretim kalitesinden ayrı ölçmek. Bu ayrım yapıldığı anda "cevap kötü" cümlesi teşhise dönüşür ve iyileştirme bütçesi doğru katmana gider. Ayrım yapılmadığında ise ekip, hangi katmanı düzelttiğini bilmeden çalışır — ve çoğunlukla en kolay olanı düzeltir.

Ne yapmalı?#

1. 1Geri getirme setini bugün kurun

   Elli soru ve her biri için ilgili belge. Yarım günlük iş, sonraki her kararın dayanağı.

2. 2Doğru bağlam deneyini yapın

   Doğru parçayı elle verip cevap kalitesini ölçün. İyileşiyorsa bütçe geri getirmeye gider; iyileşmiyorsa üretime.

3. 3Parçalamayı belge yapısına bağlayın

   Tek bir parça boyutu tüm belge türlerine uygulanmasın. Doğal sınırı olan belgelerde o sınırı kullanın, akan metinde örtüşmeli sabit uzunluk.

4. 4Hibrit aramayı varsayılan yapın

   Kod, ürün numarası, madde numarası ve özel adların geçtiği her kurumsal veri kümesinde sözcüksel arama olmadan kayıp kaçınılmazdır.

5. 5Alıntı doğruluğunu ölçüme ekleyin

   Kaynak göstermek yeterli değil; gösterilen kaynağın cümleyi desteklediği ayrıca ölçülmeli. Kaynaklı yanlışı yakalayan tek yol bu.

6. 6Yetkiyi dizine taşıyın

   Kullanıcının göremeyeceği belge hiç getirilmemeli. Cevap üretildikten sonra filtrelemek, bilginin sızmasını engellemez.