Türkçe için değerlendirme açığı neden kapanmıyor?

Tez#

Bir modelin Türkçe performansını bilmek isteyen kurum, önünde üç seçenek buluyor: genel çok dilli benchmarkların Türkçe kesitine bakmak, İngilizce setlerin çevirisini kullanmak, ya da kendi setini kurmak. İlk ikisi ucuz ama yanıltıcı; üçüncüsü doğru ama pahalı. Bu asimetri, açığın kapanmamasının asıl sebebi.

Bağlam: çeviri neden yetmiyor?#

Çeviriyle üretilen test setleri üç yerde kırılıyor. Birincisi belirsizlik: Türkçede ek yapısı ve sözcük sırası, İngilizcede olmayan belirsizlikler üretir; çeviri bu belirsizlikleri düzleştirir. İkincisi kültürel bağlam: hukuki, idari ve gündelik referanslar birebir karşılık bulmaz. Üçüncüsü metin uzunluğu: aynı anlam Türkçede farklı sayıda tokene bölünür, bu da bağlam ve maliyet hesabını değiştirir.

Kanıt: tokenizasyon etkisi#

Türkçe sondan eklemeli bir dil: tek bir kökten çok sayıda türetilmiş biçim çıkar. Alt sözcük (subword) tokenizerları büyük ölçüde İngilizce ağırlıklı derlemlerle eğitildiği için, Türkçe kelimeler daha fazla parçaya bölünme eğiliminde. Bunun üç somut sonucu var.

• Maliyet: aynı içerik daha fazla token demek, daha fazla token daha yüksek fatura demek.
• Etkin bağlam: pencereye sığan Türkçe metin miktarı, İngilizce eşdeğerinden az.
• Kalite: aşırı parçalanma, morfolojik ipuçlarının modelde zayıf temsil edilmesine yol açabilir.

Bu yüzden Türkçe değerlendirme yalnızca doğruluk ölçmemeli; aynı görevi tamamlamak için harcanan token miktarını da raporlamalı. Kalite eşit olsa bile, iki model arasında anlamlı bir maliyet farkı çıkabiliyor.

Karşı görüş#

Karşı argüman şu: modeller hızla iyileşiyor ve çok dilli yeteneği artık ayrı bir başlık olmaktan çıkıyor; Türkçe için özel set kurmaya yatırılan emek, altı ayda değersizleşebilir. Bu iddianın doğru tarafı var — genel yetenekteki artış Türkçeye de yansıyor. Ancak bu, ölçüm ihtiyacını ortadan kaldırmıyor; sadece ölçülecek şeyin seviyesini yukarı taşıyor.

İkinci karşı argüman kapsam: genel bir Türkçe benchmark kurmak yerine kurumların kendi alanlarına özel setler kurması daha verimli olabilir. Bu büyük ölçüde doğru ve iki çaba çelişmiyor: kamuya açık genel set karşılaştırma zemini kurar, kurum içi set satın alma kararını verir.

Sonuç#

Türkçe için eksik olan şey model değil, ölçüm zemini. Açık metodolojili, sürümlenmiş ve tekrarlanabilir bir değerlendirme altyapısı, tek tek ürünlerden daha fazla ortak değer üretir: model seçimini kararlaştırır, iddiaları denetlenebilir kılar ve iyileştirmenin yönünü gösterir.

Ne yapmalı?#

1. 01Çeviri setlerini genel muhakeme için kullanın; dile özgü yetenek iddiası kurmayın.
2. 02Kendi alanınızdan Türkçe örneklerle 30-50 görevlik bir set yazın.
3. 03Doğrulukla birlikte görev başına token tüketimini de raporlayın.
4. 04Kod anahtarlamalı (Türkçe-İngilizce karışık) örnekleri sete dahil edin; gerçek kullanım öyle.
5. 05Metodolojiyi ve sürümü yayımlayın; skor tek başına bilgi değil.