Nicemleme Kalite Kaybı Deneyi

Soru#

Ağırlıkların bit genişliği düşürüldüğünde bellek ayak izi öngörülebilir biçimde küçülür; verim kazancı ise verilmiş sayılamaz, çekirdek uygulamasına ve darboğazın bant genişliğinde mi hesapta mı olduğuna bağlıdır. Kalite tarafı da göreve göre ayrışır: hangi görev tipi daralan sayı doğruluğuna dayanıklı, hangisi ilk bozulan? Düzen bu ayrımı görev kırılımında görünür kılmak için kurulur.

Düzen#

Aynı temel modelin nicemlenmiş sürümleri sırayla ölçülür; karşılaştırma tabanı nicemlenmemiş sürümün kendisidir. Her bit genişliği aynı görev bataryasıyla, aynı istemlerle ve sabitlenmiş çözümleme ayarlarıyla çalıştırılır. Sonuç görev başına ayrı tutulur; toplu ortalama yalnızca ikincil kayıt olarak saklanır.

• Veri: görev başına ayrı değerlendirme kümesi — çok adımlı çıkarım, biçimli çıktı, özetleme, kod ve Türkçe metin üretimi.
• Karşılaştırma tabanı: nicemlenmemiş aynı ağırlıklar, aynı donanım ve aynı çalıştırma yığını.
• Değişken 1: bit genişliği ve nicemleme yöntemi; kalibrasyonsuz ve kalibrasyonlu varyantlar ayrı turlarda.
• Değişken 2: kapsam dışı bırakılan katmanlar — gömme ve çıkış katmanının hariç tutulduğu turlar.
• Sabit: istemler, çözümleme ayarları ve bağlam uzunluğu; rastgelelik tohumu karşılaştırma turlarında sabit, tekrar turunda bilerek değiştirilir.

1. 1Taban turu

   Nicemlenmemiş model tüm görev bataryasını çalıştırır; çıktılar ham biçimde saklanır ve sonraki turların karşılaştırma noktası olur.

2. 2Nicemleme turu

   Her bit genişliği ve yöntem için aynı batarya tekrarlanır; tek değişen ağırlık gösterimidir.

3. 3Tekrar turu

   Her yapılandırma aynı istemlerle, tohum değiştirilerek birden çok kez çalıştırılır; aynı tohumda bile toplu işlemeden gelen sapma olabildiği için kararlılık ancak tekrarla görünür.

4. 4Kırılım okuma

   Sonuç görev tipi ve istem uzunluğu kırılımında okunur; kaybın hangi görevde oluştuğu bu kırılım olmadan görünmez.

Ölçüt#

Kalite farkı tek bir doğruluk sayısıyla anlaşılmaz; nicemlemenin etkisi ortalamadan çok dağılımın kuyruğunda beklenir. Bu yüzden görev başına fark ile tekrarlı çalıştırmalardaki kararlılık yan yana tutulur, kazanç tarafı da aynı tabloda kalır.

Görev tipleri ve beklenen hassasiyet#

Beklenen kırılma noktaları#

• Aykırı ağırlık dağılımı: düşük bit genişliğinde kalibrasyonsuz yöntemlerin ilk bozulması beklenen yer.
• Gömme ve çıkış katmanı: nicemleme kapsamına alındığında kaybın belirginleşmesi beklenir.
• Uzun bağlam: dikkat skorlarındaki birikimli hatanın bağlam uzadıkça büyümesi beklenir.
• Biçim zorunluluğu olan görevler: kaybın doğruluk yerine ayrıştırma hatası olarak görünmesi beklenir.
• Küçük modeller: aynı bit genişliğinde daha büyük modele göre daha erken bozulması beklenir.

Sınırlılıklar#

Ölçüm tek bir model ailesine ve tek bir çalıştırma yığınına bağlıdır; başka bir çekirdek uygulaması aynı ağırlıklarla farklı sonuç verebilir. Değerlendirme kümeleri kamuya açıksa eğitim verisiyle örtüşme riski vardır ve kayıp olduğundan küçük görünür. Düzen ayrıca gecikme ile kalite arasındaki dengeyi kullanıcı deneyimi düzeyinde değerlendirmez; o ayrı bir ölçüm konusudur.