Prompt Tokenizer

Ne çözüyor?#

Token sayısı bağlam penceresinin ve maliyetin ortak para birimidir, ama Türkçe metinde bu sayı sezgiyle tahmin edilemez. Ek yığılan bir sözcük bir tokenleştiricide tek parça, başkasında birkaç parça olabilir ve kırılma kökün ortasına da düşebilir. Kit bu bölünmeyi metnin üzerinde görünür kılar: hangi karakter aralığı hangi parçaya gitti, aynı cümle iki tokenleştiricide kaç parçaya ayrıldı. Amaç bir tokenleştiriciyi önermek değil, farkı okunabilir hale getirmektir.

Bileşenler#

Kurulum akışı#

1. 1Kiti projeye alma

   Kit yayımlandığında bağımlılık olarak eklenir; tokenleştirici tanımları koddan ayrı bir veri dizininde durur, böylece tanım güncellemesi kod sürümüne bağlanmaz.

2. 2Tokenleştirici kaydı

   Kullanılacak tokenleştiriciler yapılandırma dosyasında adlarıyla sıralanır. Tanımı bulunmayan bir kayıt çalışma sırasında değil, başlangıçta hata verir.

3. 3Bölme çağrısı

   Metin çekirdeğe verilir; karşılığında parça listesi ve sayım raporu döner. Gösterim ve komut satırı aynı çıktının üzerine kurulur.

4. 4Karşılaştırmaya bağlama

   İki bölme hizalama katmanına verilir; ayrışma noktaları gösterim bileşenine işaretli olarak geçer.

Yapılandırmaya bırakılan kararlar#

Çıktı sözleşmesi#

Gösterim, komut satırı ve karşılaştırma tek bir veri biçimini okur; böylece arayüz değişse de çekirdek aynı kalır. Her parça kaynak metindeki karakter aralığını taşır, çünkü sınırın nereye düştüğü ancak kaynağa bağlanarak gösterilebilir. Tokenleştirici bir sayısal kimlik vermiyorsa alan boş bırakılır, uydurulmaz.

type Parca = {
  sira: number;
  metin: string;        // kaynaktaki karşılığı, kırpılmadan
  baslangic: number;    // kaynak metinde karakter ofseti
  bitis: number;
  tokenKimligi: number | null; // tokenleştirici vermiyorsa null
};

type Bolme = {
  tokenlestirici: string;
  parcalar: Parca[];
  tokenSayisi: number;
  karakterSayisi: number;
};

Kapsam dışı#

Kit token sınırlarını gösterir; model çıktısı üretmez, istem kalitesi hakkında yorum yapmaz ve fiyat tablosu taşımaz. Birim maliyet kullanıcının kendi sözleşmesinden gelir, çünkü fiyatlar kitin sürümünden bağımsız değişir. Dil bilgisi çözümlemesi de kapsam dışıdır: parça sınırı bir ek sınırı değildir ve kit bunu iddia etmez.