Türkçe metin için tokenleştirme ve normalizasyon kurmak

Tek bir kanonik temiz metin alanı yoktur. Normalizasyon, metni tüketen görevin kayıplarını kabul edebileceği yere kadar götürmektir; bir görev için kazanç olan işlem diğeri için bilgi kaybıdır. Küçük harfe çevrilmiş, noktalaması sökülmüş bir metin BM25 tarafında eşleşmeyi artırır ama gömme modeline verildiğinde modelin eğitildiği dağılımdan uzaklaşır.

Aynı görünen iki dize farklı baytlardan oluşabilir: NFC biçiminde tek kod noktasıyla yazılan bir harf, NFD biçiminde taban harf artı birleşen işaret olarak durur. Dizin bir biçimi, sorgu diğerini kullanıyorsa eşleşme sessizce kaybolur; hata mesajı yoktur, yalnızca sonuç gelmez. Kural basittir: metin sisteme girdiği noktada tek bir biçime sabitlenir ve bu biçim sorgu hattında da uygulanır.

• Yumuşak tire (U+00AD): PDF ve ofis dosyalarından gelir, sözcüğü ortadan böler ve göze görünmez.
• Sıfır genişlikli karakterler (U+200B–U+200D, U+2060, U+FEFF): kopyalanmış web metninin klasik kalıntısı.
• Kırılmasız boşluk (U+00A0): boşlukla aynı görünür, sözcük bölücüde farklı davranır.
• Tipografik kesme işareti (U+2019) ile ASCII kesme işareti: Ankara'da iki farklı biçimde dizine girer.
• Uzun tire (U+2013, U+2014): başlıklarda ve listelerde karışık kullanılır, tek biçime indirilmeli.

import re
import unicodedata

GORUNMEZ = re.compile('[\u00ad\u200b\u200c\u200d\u2060\ufeff]')
BOSLUK = re.compile('[\u00a0\u2007\u202f]')

def temizle(metin: str) -> str:
    metin = unicodedata.normalize('NFC', metin)
    metin = GORUNMEZ.sub('', metin)
    metin = BOSLUK.sub(' ', metin)
    metin = metin.replace('\u2019', "'").replace('\u2018', "'")
    return metin.replace('\u2013', '-').replace('\u2014', '-')

Doğrulama adımı: temizlikten önce ve sonra belgelerin kaçının değiştiğini sayın. Beklenmedik biçimde büyük bir kısmı değişiyorsa sorun normalizasyonda değil, daha yukarıda — ayrıştırıcıda veya kodlama tahmininde — duruyordur ve orada çözülmelidir.

Türkçede noktalı ve noktasız i iki ayrı harftir ve büyük-küçük eşleşmeleri çapraz gider: I ile ı, i ile İ. Unicode'un varsayılan harf dönüşümü bu çifti bilmez; yerel bilgisi verilmediğinde I harfini noktalı i'ye indirir. İ harfini küçülttüğünde ise ortaya i artı birleşen nokta (U+0307) çıkar. Ekranda hiçbir fark görünmez, karşılaştırmada dizeler eşit değildir.

# Python'da yerele duyarlı bir lower() yok; dönüşümden önce çifti elle eşleyin.
TR_KUCUK = str.maketrans({'I': 'ı', 'İ': 'i'})
TR_BUYUK = str.maketrans({'ı': 'I', 'i': 'İ'})

def kucult(metin: str) -> str:
    return metin.translate(TR_KUCUK).lower()

def buyut(metin: str) -> str:
    return metin.translate(TR_BUYUK).upper()

# JavaScript tarafında: metin.toLocaleLowerCase('tr')

Katlamaya bir ihtiyaç vardır: kullanıcılar arama kutusuna sıklıkla ASCII yazar, acik ya da kagit arar. Ama aynı işlem belgenin kendisine uygulandığında geri dönüşü olmayan bir bilgi kaybı olur. Çözüm iki alandır: özgün metin olduğu gibi durur, katlanmış biçim ayrı bir alana yazılır ve sorgu iki alanda birden aranır — özgün alan yüksek, katlanmış alan düşük ağırlıkla.

1. 01metin: ham hâliyle saklanır, hiçbir katlama uygulanmaz.
2. 02metin_arama: NFC ve Türkçe yerelle küçültülmüş biçim; birincil eşleşme alanı.
3. 03metin_ascii: aksan ve şapka katlanmış biçim; yalnızca yedek eşleşme için, düşük ağırlıkla.
4. 04Sorgu yalnızca metin_arama ve metin_ascii alanlarına gönderilir; metin alanı gösterim ve yeniden işleme için saklanır, eşleşmeye hiç girmez.

Doğrulama adımı: yukarıdaki çiftleri sorgu olarak koşturun. kâr araması kâr geçen belgeyi, kar araması kar geçen belgeyi ilk sıraya koymalı. İkisi de aynı sonucu veriyorsa ağırlıklandırma çalışmıyor ya da katlanmış alan birincil alan hâline gelmiştir.

Türkçede kesme işareti özel ada gelen eki ayırır: Ankara'da, TBMM'nin, 2026'da. Varlık adını bulmak isteyen her hat bu sınırı doğru çizmek zorunda; aksi hâlde dizine Ankara'da diye bir varlık girer ve Ankara sorgusu onu bulamaz. Kesme işaretinin iki farklı kod noktasıyla yazılabildiğini hatırlayın: bölücüden önce ikinci adımdaki birleştirme çalışmış olmalı.

• Kısaltmalar: Dr., Sn., vb., md., bkz. — nokta cümle sonu sanılır ve cümle ortadan kesilir.
• Sayılar: 1.000,50 biçiminde binlik nokta ve ondalık virgül; bölücü burada üç parça üretmemeli.
• Tarihler: 15.09.2026 tek bir belirteçtir, üç cümle değil.
• Madde numaraları: md. 7/b, 3.2.1 gibi diziler bölünürse atıf izlenemez hâle gelir.
• Sıra sayıları: cümle sonundaki 3. ifadesi hem sıra sayısı hem cümle sonu olabilir; bağlama bakılmalı.

Türkçe eklemeli bir dildir: tek kökten ev, evler, evlerin, evlerinde, evlerimizden gibi çok sayıda yüzey biçimi üretilir. Buna ünsüz yumuşaması eklenir — kitap kökü ek aldığında kitabı olur, ağaç kökü ağacı olur. Ek listesini sondan soyan bir kök bulucu bu değişimi geri alamaz ve sözlükte bulunmayan bir gövde döndürür. Sözcük belirsizliği de cabası: yüzü sözcüğü yüz kökünün üç farklı anlamına da bağlanabilir.

Eklemeli yapı uzun yüzey biçimleri üretir ve çok dilli sözlüklerde bu biçimlerin çoğu tek bir birleştirmeye karşılık gelmez; sonuçta Türkçe metin genellikle İngilizceden daha fazla alt sözcüğe bölünür. Ne kadar fazla? Bunu tokenleştiriciyi ve derlemi bilmeden söylemek mümkün değil, başka bir projenin oranı da sizi bağlamaz. Ölçün: hesap on dakika sürer ve sonrasındaki bütün bütçe kararlarının girdisi olur.

# Kendi derleminizde ölçün; başka bir derlemin oranı sizinkini temsil etmez.
sozcuk = 0
token = 0

for metin in derlem:
    sozcuk += len(metin.split())
    token += len(tokenlestirici.encode(metin))

print('sözcük başına token:', round(token / sozcuk, 2))

• Parça boyutu: token cinsinden sınır koyduğunuz için, oran değişince parçaların kapsadığı metin miktarı değişir.
• Bağlam bütçesi: aynı sayıda parça, Türkçe metinde bağlam penceresinden daha fazla yer kaplar.
• Kesilme riski: uzun tablo ve madde listelerinin p95 token uzunluğunu ayrıca ölçün; ortalama burada yanıltır.

Bir uyarı: bu ölçümü yaparken modele giden metne agresif normalizasyon uygulamayın. Küçültülmüş, noktalaması sökülmüş metin hem token sayımını değiştirir hem de modelin özel adları ve yapıyı görmesini engeller. Ölçüm, üretimde modele gidecek metnin aynısıyla yapılır.

Normalizasyon, dizinleme zamanı ile sorgu zamanı arasındaki bir sözleşmedir. Sözleşmenin bir tarafı değişip diğeri kalırsa sistem hata vermez, yalnızca bazı sorgular sessizce sonuçsuz döner. Bu yüzden normalizasyon sürümü dizindeki her belgeye yazılır: karışık sürümlü veri, sorguya değil belgeye bakarak tespit edilebilir hâle gelir.

• Harf büyüklüğü çiftleri: İstanbul / istanbul / İSTANBUL / ISTANBUL.
• Şapka çiftleri: kâr / kar, hâlâ / hala, hikâye / hikaye.
• Kesme işareti biçimleri: Ankara'da metninin iki farklı kesme işaretiyle yazılmış hâlleri.
• Görünmez karakter: içine yumuşak tire sıkışmış bir sözcük.
• Sayı ve tarih: 1.000,50 ve 15.09.2026 tek belirteç olarak kalıyor mu.

{
  "normalizasyon_surumu": 3,
  "adimlar": ["nfc", "gorunmez-karakter", "tr-kucult", "kesme-ayir"],
  "ascii_alani": true,
  "dizin_yeniden_uretildi": "2026-09-15"
}

Doğrulama adımı: altın çift kümesini sürekli tümleştirme hattına bağlayın. Normalizasyon koduna dokunan her değişiklik bu kümeyi koşturmadan birleştirilemesin; kümedeki bir çift kırıldığında değişiklik değil, yeniden dizinleme planı tartışılsın.