Nicemlemenin bedeli ortalama doğrulukta değil, uzun kuyruk davranışında

Tez#

Nicemleme, model ağırlıklarının daha düşük hassasiyetle temsil edilmesi ve bellek ile hesaplama maliyetinde belirgin kazanç sağlıyor. Karar genellikle basit bir karşılaştırmayla veriliyor: değerlendirme setinde doğruluk ne kadar düştü? Düşüş bir iki puansa karar olumlu oluyor.

Bu karşılaştırmanın sorunu, ortalamanın bir dağılımı temsil ettiğini varsayması. Nicemleme kaybı dağılım boyunca eşit yayılmıyor: modelin zaten emin olduğu girdilerde neredeyse hiç etkisi olmuyor, kararın sınırda olduğu girdilerde ise sonucu değiştiriyor. Bu ikinci küme, değerlendirme setinde küçük bir oran tutuyor ama gerçek kullanımda genellikle en önemli kümeyi oluşturuyor — zor vakalar, alışılmadık istekler, kenar durumlar. Ortalama bu kümedeki bozulmayı seyreltiyor ve karar yanlış bilgiyle veriliyor.

Bağlam: kayıp nerede yoğunlaşıyor#

Tablo, nicemleme kaybının yoğunlaştığı kümeleri ve her birinde ne tür bir bozulma beklendiğini veriyor. Yönler hipotez — kendi ölçümünüzde sınanmalı.

Dördüncü satır Türkçe ürünler için belirleyici ve genellikle hiç ölçülmüyor. Bir model İngilizce ağırlıklı veriyle eğitildiğinde, Türkçe davranışı daha az sayıda ve daha hassas ağırlık örüntüsüne dayanıyor olabiliyor. Hassasiyet düşürüldüğünde bu örüntüler daha kolay bozuluyor. Yani aynı nicemleme, İngilizcede fark ettirmezken Türkçede belirgin bir kalite düşüşü üretebiliyor — ve İngilizce değerlendirme setiyle yapılan bir karar bunu görmüyor.

Kanıt: nicemleme kararı nasıl verilir#

Karar bir ortalamayla değil, alt gruplara ayrılmış bir ölçüm dizisiyle verilmeli. Aşağıdaki sıra bir günlük bir çalışmayla uygulanabiliyor.

1. 01Alt kümeleri ayırın: kolay, zor, uzun bağlamlı, Türkçe, yapılandırılmış çıktı. Beş küme yeterli ayrım sağlıyor.
2. 02Her kümede ayrı ölçün: tek bir ortalama yerine beş sayı. Kararı en kötü küme belirlemeli.
3. 03Yapılandırılmış çıktıda şema geçme oranına bakın: biçim hataları doğruluk ölçütünde görünmüyor ama ürünü bozuyor.
4. 04Uzun bağlamda konuma göre ölçün: bilginin bağlamın başında, ortasında ve sonunda olduğu durumları ayırın.
5. 05Kazancı aynı tabloya yazın: bellek, gecikme ve maliyet kazancı ölçülmeli; kayıpla birlikte okunmalı.
6. 06Geri dönüş yolunu hazırlayın: nicemlenmiş model belirli isteklerde yetersizse tam hassasiyetli modele yönlendirme kurulabiliyor.

Altıncı madde en pratik çözüm ve en az düşünülen. Nicemleme bir kere verilip her isteğe uygulanan bir karar olmak zorunda değil: isteklerin büyük bölümü nicemlenmiş modelle karşılanabilirken, zor ya da hassas kümeler tam hassasiyetli modele yönlendirilebiliyor. Bu kurulum maliyet kazancının çoğunu koruyup kalite kaybının yoğunlaştığı yeri kapatıyor.

Mekanizma: neden kuyruk daha çok etkileniyor#

Etkinin kuyrukta yoğunlaşmasının makul bir açıklaması var. Nicemleme, ağırlıkları daha az sayıda ayrık değere yuvarlıyor ve bu yuvarlama küçük bir gürültü ekliyor.

Modelin emin olduğu bir çıktıda iki aday arasındaki fark büyük; küçük bir gürültü sıralamayı değiştirmiyor. Kararın sınırda olduğu bir çıktıda ise fark küçük ve aynı gürültü sıralamayı çevirebiliyor. Bu yüzden bozulma, modelin zaten kararsız olduğu girdilerde toplanıyor — ve modelin kararsız olduğu girdiler tam olarak nadir, alışılmadık ve az temsil edilen girdiler. Çok adımlı akıl yürütmede etki ayrıca birikiyor: her adımda küçük bir sapma olasılığı, zincir uzadıkça toplam hata olasılığını büyütüyor. Yapılandırılmış çıktıda ise tek bir token hatası tüm çıktıyı geçersiz kılıyor, dolayısıyla küçük bir olasılık artışı büyük bir başarısızlık oranına dönüşüyor.

Karşı görüş#

Üç itiraz var. Birincisi: modern nicemleme yöntemleri kalibrasyon verisi kullanarak bu kaybı büyük ölçüde azaltıyor. İkincisi: alt grup ölçümü maliyetli ve küçük ekipler için gerçekçi değil. Üçüncüsü: nicemleme olmadan kendi barındırma ekonomik değil; kayıp kabul edilmek zorunda.

Genel sette bir puan kayıpla nicemlemeye geçtik. İki hafta sonra Türkçe şikâyetleri arttı. Türkçe alt küme ölçümünü sonradan yaptık ve fark belirgindi.

Birinci itiraz doğru ve önemli: kalibrasyon verisi kullanan yöntemler kaybı azaltıyor. Ama kalibrasyon verisinin dağılımı sonucu belirliyor — İngilizce ağırlıklı bir kalibrasyon kümesi Türkçe davranışı korumuyor. Yani itiraz, alt grup ölçümünü gereksiz kılmıyor, kalibrasyon kümesinin de alt gruplara göre seçilmesi gerektiğini gösteriyor. İkinci itiraz haklı ama ölçek küçültülebilir: her kümede yirmi örnek bile yönü gösteriyor ve tek bir ortalamadan çok daha bilgilendirici. Üçüncü itiraz ekonomik gerçekliği doğru okuyor ama kararın biçimini yanlış varsayıyor: nicemleme her isteğe uygulanmak zorunda değil, yönlendirmeyle karma bir kurulum kurulabiliyor.

Sınırlar ve belirsizlik#

Tablodaki yönler hipotez; bu analiz ölçüm sonucu sunmuyor.

• Yönteme bağlı: nicemleme yöntemleri arasında kayıp profili belirgin biçimde farklılaşıyor.
• Modele bağlı: aynı yöntem farklı modellerde farklı sonuç veriyor; tablo kendi modelinizde sınanmalı.
• Türkçe etkisi ölçülmemiş: bu analizdeki beklenti mekanizma temelli bir çıkarım, yayımlanmış bir ölçüm değil.
• Kalibrasyon kümesinin etkisi ayrıca ölçülmeli: küme dağılımı sonucu doğrudan belirliyor.

Sonuç#

Nicemleme kararı tek bir ortalama farkla verilemiyor çünkü kayıp dağılım boyunca eşit yayılmıyor. Bozulma, modelin zaten kararsız olduğu girdilerde toplanıyor — nadir istekler, uzun bağlamlar, yapılandırılmış çıktılar, çok adımlı akıl yürütme ve az temsil edilen diller.

Türkçe ürünler için bu, doğrudan bir ölçüm gerekliliği: İngilizce değerlendirme setiyle verilen bir nicemleme kararı, Türkçe kalitesindeki düşüşü hiç görmüyor. Ve karar ikili olmak zorunda değil — isteklerin çoğu nicemlenmiş modelle karşılanırken zor kümeler tam hassasiyetli modele yönlendirilebiliyor. Bu karma kurulum maliyet kazancının çoğunu koruyup kaybın yoğunlaştığı yeri kapatıyor.

Ne yapmalı?#

1. 1Beş alt küme kurun

   Kolay, zor, uzun bağlamlı, Türkçe, yapılandırılmış çıktı. Her kümede yirmi örnek bile yönü gösteriyor.

2. 2Kararı en kötü kümeye göre verin

   Ortalama, bozulmanın yoğunlaştığı kümeyi seyreltiyor.

3. 3Şema geçme oranını ayrı ölçün

   Yapılandırılmış çıktıda tek token hatası tüm çıktıyı geçersiz kılıyor; doğruluk ölçütü bunu göstermiyor.

4. 4Uzun bağlamda konuma göre ölçün

   Bilginin bağlamın başında, ortasında ve sonunda olduğu durumlar ayrı ayrı sınanmalı.

5. 5Kalibrasyon kümesini alt gruplara göre seçin

   İngilizce ağırlıklı kalibrasyon Türkçe davranışı korumuyor.

6. 6Yönlendirme kurun

   Zor ve hassas kümeler tam hassasiyetli modele gitsin; kazancın çoğu korunur, kayıp kapatılır.