Türkçe metinlerde parçalama stratejisi

Türkçe sondan eklemeli bir dil: tek kökten çok sayıda türetilmiş biçim çıkar. Ağırlıklı olarak İngilizce derlemlerle eğitilmiş tokenizerlar bu biçimleri daha fazla parçaya böler. Sonuç: aynı içerik daha pahalı ve bağlam penceresine daha az metin sığıyor.

1. 01Üç tipik metin seçin: kısa kullanıcı sorusu, prosedür paragrafı, tablo satırı.
2. 02Her birini tokenizer aracıyla ölçün ve token sayısını not edin.
3. 03Aynı metinlerin İngilizce çevirisini ölçüp oranı hesaplayın.
4. 04Ortaya çıkan oranı parça uzunluğu planınıza girdi olarak kullanın.

Türkçe kurumsal belgelerin çoğu yapısı güçlü belgelerdir: prosedürler, yönetmelikler, talimatlar. Bu yapıyı kullanmak, sabit uzunlukta bölmekten neredeyse her zaman daha iyi sonuç veriyor: madde ve başlık sınırları doğal kesim noktalarıdır ve örtüşme ihtiyacını büyük ölçüde ortadan kaldırıyor.

Türkçede bağlam, çekim ekleriyle taşındığı için bir parçanın tek başına okunduğunda anlamı kayabiliyor. Başlık yolunu parçanın metnine önek olarak eklemek, hem gömme kalitesini hem de modelin parçayı doğru yorumlamasını belirgin biçimde iyileştiriyor.

# Önek eklenmemiş parça
"Talep, en az yedi gün önce sisteme girilir."
   -> Hangi talep? Hangi sistem?

# Başlık yolu önek olarak eklenmiş parça
"[İzin Prosedürü > Yıllık izin > Talep süreci]
Talep, en az yedi gün önce sisteme girilir."
   -> Bağlam parçanın içinde; gömme vektörü de bunu taşıyor.

Türkçe kurumsal metinlerde kısaltma yoğunluğu yüksek: kurum adları, mevzuat kısaltmaları, iç birim kodları. Gömme arama bunları ayırt edemiyor; küçük bir eşleme sözlüğü, model değiştirmekten daha fazla fark yaratabiliyor.

• Kısaltmaları açılımlarıyla eşleyin ve sorguya her iki biçimi ekleyin.
• Eş anlamlıları alan uzmanıyla birlikte toplayın; tahminle yazmayın.
• Sözlüğü sürümleyin: değişiklik arama sonuçlarını değiştirir.
• Karışık dilli sorguları da hesaba katın ("invoice u özetle").

Ölçüm seti Türkçe olmalı ve çeviriyle üretilmemeli. Çeviri setleri dilin kendine özgü belirsizliklerini taşımıyor; ölçtüğünüz şey büyük ölçüde dilden bağımsız muhakeme oluyor. 15 gerçek Türkçe sorgu, 100 çevrilmiş sorgudan daha fazla bilgi üretiyor.

Sete kod anahtarlamalı (Türkçe-İngilizce karışık) örnekler de ekleyin: gerçek kullanımda kullanıcılar sıkça karışık dil kullanıyor ve yalnızca temiz Türkçe ile ölçüm, üretimdeki davranışı temsil etmiyor.

Türkçe kurulumlarda doğruluk tek başına yeterli bir rapor değil. Görev başına token tüketimini de raporlayın: kalite eşit olsa bile iki model arasında anlamlı bir maliyet farkı çıkabiliyor ve bu fark Türkçede daha belirgin.