Parçalama kararı model seçiminden daha belirleyicidir

Tez#

RAG hattındaki adımlar görünürlükleri açısından çok farklı. Model seçimi bir yapılandırma satırı, her an geri alınabilir. Yeniden sıralama hattın sonuna eklenir, etkisi hemen ölçülür. Parçalama ise başta bir kez yapılır, dizin oluşur ve ondan sonra kimse ona dokunmaz — çünkü değiştirmek tüm dizini yeniden kurmak demektir. Görünmezliği ile belirleyiciliği arasındaki bu ters ilişki, RAG projelerinin en pahalı yapısal hatasını üretiyor.

Mekanizma tek cümleyle özetlenebilir: arama, var olmayan bir birimi getiremez. Bir yönetmelik maddesi iki parçaya bölünmüşse, o maddenin tamamını isteyen bir sorgu en iyi durumda iki ayrı parça getirir ve modelin onları birleştirmesini umar. Bir tanım cümlesinin ortasından geçen sınır, tanımı hiçbir sorgunun tam olarak bulamayacağı hâle sokar. Bu kayıp, gömme modeli değiştirilerek, yeniden sıralama eklenerek ya da daha iyi bir üretim modeline geçilerek telafi edilemez — çünkü kayıp arama aşamasında değil, dizin kurulurken oluşmuştur.

Bağlam: belge türü stratejiyi belirler#

Parça boyutu sorusunun tek bir doğru cevabı yok ve olduğunu söyleyen kaynağa güvenilmemeli. Doğru strateji belgenin yapısına bağlı; aşağıdaki tablo dört yaygın belge türünü ve her biri için işleyen yaklaşımı gösteriyor.

Tablonun en çok atlanan sütunu üçüncüsü — üst bağlamın parçaya kopyalanması. Bir yönetmelik maddesi kendi başına getirildiğinde, hangi bölümün altında olduğu bilinmez; "bu maddedeki süre" sorusuna cevap veren model, maddenin hangi başlık altında yer aldığını görmediği için yanlış kapsam varsayabilir. Çözüm basit ve sık atlanıyor: her parçaya başlık zincirini üstveri olarak eklemek. Maliyeti birkaç düzine token, kazancı doğru kapsam.

Kanıt: parçalamanın ölçülebilir hâle getirilmesi#

Parçalama kararı sezgiyle verilmek zorunda değil. Ölçülebilir hâle getirmenin yolu, kararı geri getirme setinde sınamak — ve bu deney bir günde kurulur.

1. 1Sınır kaybı örneklerini toplayın

   Üretimde düşük güvenle cevaplanan soruları inceleyip kaç tanesinde ilgili bilginin iki parçaya bölündüğünü sayın. Bu sayı, parçalamanın maliyetidir.

2. 2Aynı belgeleri üç stratejiyle dizinleyin

   Doğal sınır, örtüşmeli sabit uzunluk ve örtüşmesiz sabit uzunluk. Üç ayrı dizin, aynı geri getirme seti.

3. 3İlk k içinde gelme oranını karşılaştırın

   Fark genellikle büyüktür ve stratejinin belge türüne bağlı olduğunu doğrudan gösterir.

4. 4Parça başına token dağılımını ölçün

   Aşırı büyük parçalar bağlam bütçesini yer, aşırı küçük parçalar bağlamsız kalır. Dağılımın kuyruğu sorunları gösterir.

5. 5Kazanan stratejiyi belge türüne bağlayın

   Tek bir strateji tüm derleme uygulanmasın; her belge türü kendi stratejisiyle dizinlensin.

Beşinci adım en çok direnç gören. Tek bir parçalama kuralı kod olarak daha basit; belge türüne göre ayrışan bir hat ise bir sınıflandırma katmanı gerektirir. Ama derlemler nadiren homojendir: aynı dizinde mevzuat, sözleşme, sunum ve e-posta bulunuyorsa tek kural dördünden en az üçüne yanlış uygular.

Mekanizma: Türkçede ek bir katman#

Türkçe metinle çalışan ekipler için parçalama kararı iki ek etkenle karmaşıklaşıyor. Birincisi tokenleştirme: yaygın tokenleştiriciler Türkçeyi İngilizceden daha çok parçaya böldüğü için aynı karakter uzunluğundaki metin daha fazla token eder. Karakter cinsinden belirlenen bir parça boyutu, token bütçesinde beklenenden büyük yer kaplar.

İkincisi eklemeli yapı: aynı kökün onlarca yüzey biçimi olduğu için sözcüksel arama, normalizasyon olmadan kayba uğrar. Bu, parçalamayı doğrudan etkiliyor — küçük parçalarda bir terim yalnızca bir kez ve çekimli hâlde geçebilir, bu da sözcüksel eşleşme olasılığını düşürür. Daha büyük parçalar terimin farklı biçimlerini birlikte barındırdığı için eşleşme şansını artırır. Dolayısıyla Türkçede parça boyutu kararı yalnızca anlamsal bütünlük değil, sözcüksel eşleşme olasılığı da gözetilerek verilmeli; ikisi ters yönde çekiyor ve dengeyi ölçüm belirler.

Karşı görüş#

İki itiraz güçlü. Birincisi: parçalamanın etkisi yeniden sıralama ile büyük ölçüde telafi edilebilir. Geniş bir aday kümesi getirip güçlü bir sıralayıcıyla süzmek, parça sınırlarının kusurlarını maskeleyebilir. İkincisi: uzun bağlam çağında parçayı büyütmek bedava — küçük parçalar yerine bölüm bazında parçalar kullanılıp hepsi bağlama konabilir.

Parça boyutunu dört katına çıkardık ve isabet arttı. Sonra bağlam maliyetini gördük: her soru dört kat pahalı hâle gelmişti ve cevaplar uzayıp okunmaz olmuştu.

İki itiraz da kısmen geçerli ama aynı sınıra çarpıyor: telafi ile çözüm aynı şey değil. Yeniden sıralama, iki parçaya bölünmüş bir tanımı birleştirmez; yalnızca iki parçayı da ilk k içine sokma şansını artırır — ve modelin onları doğru birleştirmesini umar. Parçayı büyütmek de sınırı kaldırmaz, yerini değiştirir: artık daha az sınır var ama her parça daha çok ilgisiz metin taşıyor, bu da hem maliyeti hem dikkat dağılımını artırıyor. İkisi de parçalama kararının yerine geçmiyor; kötü bir parçalama kararının maliyetini paylaşıyor.

Sınırlar ve belirsizlik#

Bu analiz bir parça boyutu önermiyor ve önermemesi bilinçli — önerecek bir sayı yok.

• Belge türü sınıflandırması editoryal: hangi belgenin "doğal sınırı var" sayıldığı net bir ölçüte bağlanmadı.
• Türkçe token oranı metin türüne göre değişiyor: teknik metin ile günlük dil aynı davranmıyor; genel çarpan verilemez.
• Yeniden sıralamanın telafi gücü ölçülmemiş: parçalama kusurunun ne kadarını maskelediğine dair karşılaştırmalı veri sınırlı.
• Dinamik getirme olgunlaşırsa denklem değişir: parça sınırından bağımsız getirme yaygınlaşırsa bu analizin temeli zayıflar.

Sonuç#

Parçalama, RAG hattında geri dönüşü en pahalı karar. Model değiştirmek bir satır, yeniden sıralama eklemek bir sprint; parçalamayı değiştirmek tüm dizini yeniden kurmak. Bu asimetri, kararın baştan ölçümle verilmesini gerektiriyor — sonradan düzeltmek en pahalı yol.

Pratik kural: derlemi belge türüne göre ayırın, doğal sınırı olan belgelerde o sınırı kullanın, akan metinde örtüşmeli sabit uzunluğa geçin ve her parçaya başlık zincirini üstveri olarak ekleyin. Sonra kararı geri getirme setinde sınayın. Bu dört adım, RAG kalitesinde model yükseltmekten daha fazla kazandırıyor ve bir kez yapıldığında kalıcı.

Ne yapmalı?#

1. 1Sınır kaybını sayın

   Düşük güvenli cevaplarda ilgili bilginin iki parçaya bölündüğü vakaları sayın. Bu sayı yatırım gerekçenizdir.

2. 2Belge türü sınıflandırması ekleyin

   Tek bir parçalama kuralı heterojen derlemde üç türden ikisine yanlış uygular.

3. 3Başlık zincirini üstveriye koyun

   Her parça hangi bölümün altında olduğunu taşısın. Birkaç düzine token karşılığında doğru kapsam.

4. 4Üç stratejiyi aynı sette karşılaştırın

   Doğal sınır, örtüşmeli ve örtüşmesiz sabit uzunluk. Karar ölçümle verilsin.

5. 5Türkçede token cinsinden ölçün

   Parça boyutunu karakterle değil tokenla tanımlayın; Türkçede ikisi arasındaki oran İngilizceden farklı.

6. 6Yeniden dizinleme maliyetini baştan bütçeleyin

   Parçalama kararı değişecekse dizin yeniden kurulacak. Bu maliyet bilinmiyorsa karar geri alınamaz hâle gelmiştir.