Parçalama stratejileri

Teori: iki yönlü baskı#

Parça küçük olduğunda arama isabetli olur ama bağlam eksik kalır: model doğru cümleyi bulur, ancak o cümlenin hangi koşulda geçerli olduğunu bilmez. Parça büyük olduğunda bağlam tamdır ama arama bulanıklaşır: parça çok konudan söz eder, gömme vektörü ortalamaya kaçar ve isabet düşer.

Bu yüzden doğru soru "ideal parça uzunluğu kaç token" değil. Doğru soru şu: bu belge türünde anlamın kendi içinde tamamlandığı en küçük birim nedir? Bir mevzuat metninde bu bir madde; bir teknik dokümanda bir alt başlık; bir tabloda bir satır artı başlık; bir sohbet kaydında bir soru-cevap çifti.

Örnek: belge türüne göre strateji#

Örtüşme ve üst veri#

Örtüşme, komşu parçaların bir miktar ortak metin paylaşması demek. Sınırın tam üstüne düşen bilgiyi kurtarır ama depolama ve gürültüyü artırır. Yapısal bölme yapıldığında örtüşme ihtiyacı büyük ölçüde azalır: madde ve başlık sınırları doğal kesim noktalarıdır.

{
  "parca_kimligi": "prosedur-izin-v3#madde-7b",
  "metin": "7/b) Yıllık izin talebi, en az yedi gün önce ...",
  "ust_veri": {
    "belge": "İzin Prosedürü",
    "surum": "v3",
    "yururluk": "2026-01-01",
    "baslik_yolu": ["İzinler", "Yıllık izin", "Talep süreci"],
    "madde": "7/b",
    "dil": "tr",
    "erisim_grubu": "tum-calisanlar"
  }
}

Teşhis: hata parçalamada mı?#

• Doğru belge geliyor ama yanlış bölüm: parça çok büyük, bölme daha ince olmalı.
• Hiçbir şey gelmiyor: parça çok küçük veya üst veri öneki eksik.
• Cevap yarım kalıyor: ilgili bilgi iki parçaya bölünmüş; örtüşme veya yapısal bölme gerekli.
• Yanlış sürüm geliyor: üst veride yürürlük tarihi ve sürüm filtresi yok.
• Tablo cevapları saçmalıyor: başlık satırı parçalara kopyalanmamış.