Tokenization
Simgeleştirme
Metnin, modelin işleyebileceği en küçük birimlere (token) bölünmesi işlemidir.
Kısa cevap
Tokenizasyon, metni modelin işleyebileceği en küçük birimlere bölme işlemidir. Ne harf ne kelime: sık geçen parçalar tek token, nadir veya çok ekli kelimeler birkaç token olur.
Neden kelime değil token?#
Kelime temelli bir sözlük, görülmemiş kelimeler karşısında çaresizdir. Alt kelime parçaları kullanıldığında model, daha önce hiç görmediği bir kelimeyi bile parçalarından oluşturabilir. Bu, eklemeli bir dil olan Türkçe için özellikle önemlidir.
Neden alt sözcük?#
| Yaklaşım | Sözlük boyutu | Dizi uzunluğu | Sözlük dışı kelime |
|---|---|---|---|
| Karakter | Çok küçük | Çok uzun | Sorun yok |
| Kelime | Çok büyük | Kısa | İşlenemez |
| Alt sözcük | Makul | Makul | Parçalara bölünür |
Türkçenin durumu#
Türkçe sondan eklemeli bir dil: tek kökten çok sayıda türetilmiş biçim çıkar. Ağırlıklı olarak İngilizce derlemlerle eğitilmiş tokenizerlar bu biçimleri daha fazla parçaya böler. Sonuç üç yerde görünür: aynı içerik daha pahalı, bağlam penceresine daha az metin sığıyor ve morfolojik ipuçları daha dağınık temsil ediliyor.
Pratik sonuçlar#
- Maliyet tahminini karakter sayısından değil, ölçülmüş token sayısından yapın.
- Kimlik, kod ve tarih alanları beklenenden çok token tutar; gereksiz kopyalamayın.
- Bağlam bütçesini dört kalemde planlayın: sistem istemi, bağlam, geçmiş ve çıktı payı.
- Tokenizer sürümü değişirse maliyet ve kesilme davranışı da değişir; sürümü kayda alın.
Sık sorulan sorular
Token sayısı ile kelime sayısı arasında sabit bir oran var mı?
Yok. Oran dile, metin türüne ve tokenizer sürümüne göre değişir. Sondan eklemeli dillerde kelime başına token sayısı belirgin biçimde yüksektir.
Çıktı neden bazen ortadan kesiliyor?
Maksimum token sınırına ulaşıldığı için. Sınır, girdi ve çıktının toplamına uygulanır; uzun bir bağlam, cevaba ayrılan payı daraltır.
Kaynaklar
- 01Sağlayıcı dokümantasyonları — Model ve altyapı sağlayıcıları · Dokümantasyon
Güncelleme geçmişi
- v1.1Türkçe bölümü ve pratik sonuçlar eklendi.
- v1.0İlk yayın.
LEARN
Tokenization konusunu uygulamaya dökmek ister misin?
Kavramı okudun; sırada onu bir rotanın içinde öğrenmek ve bir testle ölçmek var.