Türkçe Tokenleştirme Deneyi

Soru#

Aynı içerik Türkçe ve İngilizce yazıldığında tokenleştiricinin ürettiği parça sayısı ne kadar ayrışıyor? Soru pratik: eklemeli bir dilde tek sözcük birden çok parçaya bölünebildiği için aynı anlam daha fazla yer tutabilir, bu da bağlam penceresini ve çağrı maliyetini doğrudan etkiler. Aşağıdaki düzen bu farkı ölçülebilir hale getirmek için kurulmuştur; ölçümün kendisi ayrı yayımlanır.

Düzen#

Düzen paralel metin üzerine kurulur: aynı anlamı taşıyan Türkçe–İngilizce çiftler, her iki tarafı da insan çevirisi olacak şekilde seçilir. Karşılaştırma tabanı İngilizce tarafın token sayısıdır; Türkçe taraf her zaman bu tabana göre okunur. Cümle içeriği sabit tutulur, yalnızca tokenleştirici ve metin alanı değiştirilir.

• Veri: paralel Türkçe–İngilizce çiftler; haber, sözleşme metni, teknik belge ve gündelik yazışma alanlarından ayrı kümeler halinde.
• Karşılaştırma tabanı: aynı çiftin İngilizce tarafının token sayısı.
• Değişken 1: tokenleştirici ailesi — sözcük parçası tabanlı ve bayt tabanlı yaklaşımlar ayrı ayrı.
• Değişken 2: metin alanı; aynı çift kümesi alan alan bölünür ve her alan kendi oranıyla kaydedilir.
• Sabitler: Unicode normalleştirme biçimi, noktalama işlemi, sözcük sayma kuralı ve ölçüm betiği.

# Token / sözcük oranı: bir sözcüğün ortalama kaç parçaya bölündüğü.
oran = len(tokenlestirici.encode(metin)) / len(metin.split())

# Şişme, aynı içeriğin iki yazımındaki parça sayılarının bölümüdür.
# Sözcük sayısına bölmek yanlış olur: Türkçe aynı anlamı daha az
# sözcükle kurar, bu bölme ölçülmek istenen farkı kısmen siler.
sisme = len(tokenlestirici.encode(metin_tr)) / len(tokenlestirici.encode(metin_en))

# Sözcük tanımından bağımsız ikinci okuma:
karakter_basina = len(tokenlestirici.encode(metin)) / len(metin)

Ölçüt#

Tek bir oran yeterli değil: sözcük sayma kuralı dile göre tartışmalı olduğu için ölçüm hem sözcük hem karakter tabanında tekrarlanır. Şişme katsayısı ise ancak paralel çiftte anlamlıdır; tek dilde ölçülen bir oran kendi başına bir fark ifade etmez.

Beklenen kırılma noktaları#

• Ek yığını uzayan sözcükler: parça sayısının en hızlı arttığı beklenen yer.
• Alan adı, ürün kodu ve ölçü birimi gibi karışık yazımlar; sözlükte yer almadığı için harf harf bölünmesi beklenir.
• Türkçeye özgü harfler (ı, ğ, ş, ç, ö, ü): bu harfler UTF-8 gösteriminde iki bayt tuttuğu için, birleştirme tablosu bu dizileri kapsamadığında harf başına birden çok parça çıkması beklenir.
• ASCII'ye düşürülmüş yazım: aynı sözcüğün iki ayrı parçalanma yolu ortaya çıkar, oran dağılımı ikiye ayrılır.
• Kod bloğu ve tablo içeren karma metinler; oranın metin alanına göre ayrıştığı beklenen sınır.

Sınırlılıklar#

Düzen bir tokenleştiricinin dil bilgisel doğruluğunu değil, yalnızca ürettiği parça sayısını ölçer. Parça sayısının modelin anlama başarısına etkisi burada görünmez; onun için ayrı bir görev ölçümü gerekir. Çıkan sayılar ölçümün yapıldığı tokenleştirici sürümüne bağlıdır, sözlük değiştiğinde ölçüm tekrarlanmalıdır.