Chunking
Parçalama
Bir belgeyi, aranabilir ve bağlama sığacak anlamlı birimlere bölme işlemidir; geri getirme kalitesini belirleyen ilk karardır.
ÖnkoşulEmbedding
Kısa cevap
Parçalama, RAG hattında en çok ihmal edilen ve kaliteyi en çok belirleyen adımdır. Doğru soru "ideal parça uzunluğu kaç token" değil, "bu belge türünde anlamın kendi içinde tamamlandığı en küçük birim nedir" sorusudur.
İki yönlü baskı#
Parça küçüldükçe arama isabeti artar, bağlam eksilir: model doğru cümleyi bulur ama hangi koşulda geçerli olduğunu bilmez. Parça büyüdükçe bağlam tamamlanır, arama bulanıklaşır: parça çok konudan söz ettiği için gömme vektörü ortalamaya kaçar.
Yöntemler#
| Yöntem | Nasıl böler | Uygun olduğu yer |
|---|---|---|
| Sabit uzunluk | Belirli token sayısında keser | Yapısı olmayan ham metin |
| Özyinelemeli | Paragraf → cümle → kelime sırasıyla dener | Uzun makale ve rapor |
| Yapısal | Başlık, madde veya slayt sınırından böler | Mevzuat, dokümantasyon, sunum |
| Satır bazlı | Tablo satırı + başlık satırı | Elektronik çizelge, katalog |
| Diyalog | Soru-cevap çifti | Destek kaydı, sohbet dökümü |
| Anlamsal | Cümle benzerliği düştüğünde böler | Konu geçişi belirsiz uzun metinler |
Üst veri: parçanın künyesi#
Bir parça yalnızca metinden oluşmaz. Başlık yolu, belge sürümü, yürürlük tarihi ve erişim grubu parçayla birlikte saklanmalı. Erişim grubu üst veride yoksa sistem, kullanıcının görmemesi gereken belgeyi cevaba karıştırabilir.
- Başlık yolu: parçanın belgedeki yeri; önek olarak metne de eklenebilir.
- Sürüm ve yürürlük: eski sürümün cevaba karışmasını engeller.
- Erişim grubu: yetki filtresi arama sorgusunun parçası olmalı.
- Kaynak bağlantısı: cevapta atıf verebilmek için gerekli.
- Dil: çok dilli setlerde yanlış dilde parça dönmesini engeller.
Teşhis#
- Doğru belge, yanlış bölüm geliyor → parça çok büyük.
- Hiçbir şey gelmiyor → parça çok küçük veya başlık öneki eksik.
- Cevap yarım kalıyor → bilgi iki parçaya bölünmüş; örtüşme veya yapısal bölme gerekli.
- Eski bilgi geliyor → üst veride sürüm ve yürürlük filtresi yok.
Sık sorulan sorular
Örtüşme (overlap) şart mı?
Yapısal bölme yapıyorsanız çoğu durumda gerekmez; madde ve başlık sınırları doğal kesim noktalarıdır. Sabit uzunlukta bölmede sınıra düşen bilgiyi kurtarmak için kullanılır.
Aynı belgeyi iki farklı parçalamayla dizinlemek mantıklı mı?
Bazı kurulumlarda evet: kısa parçalar arama isabeti, uzun parçalar bağlam için tutulur ve eşleşen kısa parçanın ait olduğu uzun parça bağlama konur. Depolama maliyetini artırır.
Güncelleme geçmişi
- v1.0İlk yayın.
LEARN
Chunking konusunu uygulamaya dökmek ister misin?
Kavramı okudun; sırada onu bir rotanın içinde öğrenmek ve bir testle ölçmek var.