Nicemleme dengeleri ve kabul eşiği

Teori: neden hızlanıyor, neden bozuluyor#

Üretim aşaması bellek bant genişliğine bağlıdır: her jeton için ağırlıkların tamamı okunur. Bayt genişliğini yarıya indirmek, taşınan baytı da yarıya indirir; bu yüzden kazanç doğrudan bu aşamada görünür. Buna karşılık uzun girdilerin dolumu hesap gücüne bağlı olduğu için oradaki kazanç çok daha küçüktür. Yani nicemlemenin ne kadar hızlandırdığı, sizin hangi darboğazda olduğunuza bağlıdır.

Kalite kaybının kaynağı ise ölçekleme. Sürekli bir değer aralığı, az sayıda ayrık seviyeye eşlenir; eşlemeyi tanımlayan ölçek katsayısı bir tensörün, bir kanalın veya küçük bir ağırlık grubunun tamamı için ortaktır. Grubun içinde tek bir aşırı büyük değer varsa aralık ona göre gerilir ve geri kalan değerler birkaç seviyeye sıkışır. Grup ne kadar küçükse bu sıkışma o kadar az olur; bedeli, saklanan ölçek katsayısı sayısının artmasıdır.

Sıkıştırmanın ayrı kaldıraçları#

Nicemleme ya eğitim sonrasında (çoğu yöntemde bir kalibrasyon verisine dayanarak) yapılır ya da eğitim sırasında düşük hassasiyet taklit edilerek öğrenilir. İkincisi daha iyi korur ama eğitim erişimi gerektirir. Altyapı tarafında kritik olan nokta kalibrasyon verisidir: kalibrasyon genel metinle yapılıp hizmet kurumun kendi diline ve biçimine veriliyorsa, ölçek katsayıları görmediği bir dağıtıma göre ayarlanmış olur. Sürpriz genelde buradan gelir.

Kayıp nerede önce görünür#

• Biçimli çıktı: şemadan bir alanın düşmesi, tırnak veya parantezin bozulması. Makineyle en kolay yakalanan kayıp türü.
• Sayısal ve çok adımlı akıl yürütme: ara adımın yuvarlanması sonucu tek bir yanlış sayıya taşır.
• Nadir ve kuruma özgü bilgi: sık örüntüler korunurken uzun kuyruktaki adlar, kodlar ve kısaltmalar kayar.
• Uzun bağlamın sonundaki talimata uyum: özellikle önbellek nicemlendiğinde bağlamın başı ile sonu arasındaki bağ zayıflar.
• Çekimli dillerde akıcılık: jetonlayıcı ağırlıklı olarak İngilizce metinle eğitildiyse Türkçe gibi ek yoğun diller daha çok jetona bölünür ve aynı cevap daha çok üretim adımı gerektirir; bu varsayımı kendi jetonlayıcınızla doğrulayın.

Kabul eşiği ve geri dönüş#

1. 1Görev kümesini dondurun

   Kendi trafiğinizden gelen, kategorilere bölünmüş ve sürümlenmiş bir küme. Küme değişirse karşılaştırma değil, yeni bir ölçüm başlar.

2. 2Taban çıktıyı kaydedin

   Mevcut kurulumun aynı kümedeki cevapları saklanır. Karşılaştırma bir hatıraya değil bu dosyaya yapılır.

3. 3Adayı aynı kümede ölçün

   Yalnızca nicemleme değişir; istem, geri getirme ve örnekleme ayarları sabit tutulur.

4. 4Kategori bazında karşılaştırın

   Tek toplam puan değil, kategori başına geçme oranı. Eşik hangi kategoride aşıldıysa karar o kategorinin sahibine aittir.

5. 5Geri dönüşü tetikleyin

   Eşik altına düşen kategori varsa aday reddedilir ve ölçüm kaydedilir; reddedilen aday, hangi kaldıracın hangi kategoriyi bozduğunun kanıtı olarak durur.

{
  "aday": "agirlik-4bit-grup-128",
  "taban": "bf16",
  "gorev_kumesi": "kabul-v3",
  "esikler": {
    "bicimli-cikti": "kategorideki her örnek şema doğrulamasından geçmeli",
    "sayisal-akil-yurutme": "tabandan en çok bir örnek geride",
    "kuruma-ozgu-bilgi": "anahtar terim eşleşmesi tabanın altına düşemez",
    "uzun-baglam": "son talimata uyum kategorinin tamamında korunmalı"
  },
  "esik_altinda": "yönlendirme tabana döner, aday kaydedilir"
}

Geri dönüşün yeniden derleme gerektirmemesi gerekir. Nicemlenmiş ve tam hassasiyetli kurulum, yayım penceresi boyunca yan yana sunulabilir durumdaysa geri dönüş bir yapılandırma değişikliğidir; değilse geri dönüş bir proje olur ve baskı altında yapılmaz. Bu nedenle karar, ölçüm kadar geri dönüşün maliyetine de bakar.

Sık yapılan hata#

Yaygın hata birkaç isteme gözle bakıp "fark yok" demek: kaybın görünür olduğu kategoriler tam olarak elle bakılmayan kategorilerdir. İkinci hata tek bir toplam puanla karar vermek. Üçüncüsü ise istem veya geri getirme değiştikten sonra kabul ölçümünü yenilemeyi atlamak; aynı nicemleme farklı bir istemle farklı davranabilir, çünkü bozulma çıktının biçimine ve uzunluğuna duyarlıdır.