Token nedir ve neden önemli?
Metnin modele giren en küçük birimi ve maliyet üzerindeki etkisi.
BU DERSİN SONUNDA
- Token ile karakter ve kelime arasındaki farkı açıklayabilmek
- Bir metnin yaklaşık token sayısını tahmin edebilmek
- Token sayısının maliyet ve bağlam bütçesine etkisini hesaplayabilmek
- Türkçe metinlerde token verimliliğinin neden düştüğünü anlatabilmek
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Token, bir dil modelinin metni işlerken kullandığı en küçük birimdir. Ne harf ne kelimedir: sık geçen kelimeler tek token, nadir veya çekimli kelimeler birkaç token olur. Maliyet, hız ve bağlam sınırı token cinsinden ölçülür.
Teori: neden kelime değil?#
Bir modelin sözlüğü sonlu olmak zorunda. Kelime bazlı bir sözlük iki sorun üretir: sözlük dışı kelimeler (yeni bir terim, yazım hatası, özel ad) işlenemez ve sözlük gereğinden çok büyür. Karakter bazlı bir sözlük ise bu sorunu çözer ama diziler çok uzar, model uzun bağımlılıkları öğrenmekte zorlanır.
Alt sözcük (subword) tokenizasyonu bu ikisinin ortası: sık geçen parçalar tek birim olarak saklanır, nadir kelimeler bilinen parçalara bölünür. Böylece sözlük makul boyutta kalır ve hiçbir metin işlenemez hale gelmez.
Örnek: aynı anlam, farklı maliyet#
| Metin | Yaklaşık token | Neden |
|---|---|---|
| the cat sat | 3 | Üç sık kelime, üçü de tek token |
| kedi oturdu | 3-4 | Kök sık, ek ayrı token olabilir |
| kedilerimizdekiler | 5-7 | Çok ekli biçim, çok parçaya bölünür |
| SKU-44821-B | 6-9 | Rakam ve tire grupları ayrı ayrı bölünür |
Türkçe sondan eklemeli bir dil olduğu için bu tablo Türkçe aleyhine çalışır. Aynı anlamı taşıyan bir Türkçe metin, İngilizce karşılığından daha fazla token tutar. Bunun iki somut sonucu var: aynı fatura tutarına daha az içerik sığar ve bağlam penceresinin etkin kapasitesi düşer.
Bütçe hesabı#
Bir istemin token bütçesi dört kalemden oluşur. Toplamın pencereye sığması yetmez; çıktı için de yer bırakmak gerekir.
- 01Sistem istemi: sabit, her çağrıda ödenir. Kısaltmanın getirisi çağrı sayısıyla çarpılır.
- 02Bağlam: geri getirilen belge parçaları. En oynak ve en kontrol edilebilir kalem.
- 03Konuşma geçmişi: her turda birikir. Sınırlanmazsa sessizce büyür.
- 04Çıktı için ayrılan pay: modelin cevabı da pencerenin içindedir.
Pratik kurallar#
- Uzun ve sabit önekleri bağlam önbelleğine alın; her çağrıda yeniden ödemeyin.
- Konuşma geçmişine bir üst sınır koyun; aşıldığında özetleyerek taşıyın.
- Geri getirilen parça sayısını sabitleyin; "ne kadar sığarsa" stratejisi maliyeti öngörülemez kılar.
- Kimlik ve kod alanlarını (SKU, madde numarası) gereksiz yere isteme kopyalamayın.
LAB · UYGULAMALI ALIŞTIRMA
Kendi metninizin token profilini çıkarın
- 1Kurumunuzdan üç tipik metin seçin: kısa bir kullanıcı sorusu, bir prosedür paragrafı, bir tablo satırı.
- 2Her birini kullandığınız modelin tokenizer aracıyla ölçün; token sayısını not edin.
- 3Aynı metinlerin İngilizce çevirisini ölçün ve oranı hesaplayın.
- 4Bir isteminizin dört kalemini (sistem, bağlam, geçmiş, çıktı payı) tek tek ölçün.
- 5Toplamı pencere sınırıyla karşılaştırın; hangi kalemin kısılması en çok kazandırır?
Beklenen çıktı
Üç metin için ölçülmüş token sayıları ve isteminizin kalem bazlı token bütçesi tablosu.
Sık sorulan sorular
Token sayısı ile kelime sayısı arasında sabit bir oran var mı?
Hayır. Oran dile, metin türüne ve tokenizer sürümüne göre değişir. Türkçe gibi sondan eklemeli dillerde kelime başına token sayısı, İngilizceye göre belirgin biçimde yüksektir.
Girdi ve çıktı tokeni aynı mı ücretlendirilir?
Genellikle hayır; çoğu sağlayıcıda çıktı tokeni girdi tokeninden pahalıdır. Buna karşılık çok adımlı akışlarda hacim girdide biriktiği için toplam faturayı girdi belirleyebilir.
ÖLÇ
LLM Testi
7 soru · 12 dakika · Büyük Dil Modelleri
LEARN
Generative AI Engineer rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.