Quantization
Nicemleme
Model ağırlıklarının ve/veya ara değerlerin daha az bitle temsil edilerek bellek ve hesaplama maliyetinin düşürülmesidir.
ÖnkoşulDeep Learning
Kısa cevap
Nicemleme, "aynı modeli daha az bellekle çalıştırma" tekniğidir. Ağırlıklar yüksek hassasiyetli kayan noktadan daha düşük bitli bir temsile indirilir; bellek ve bant genişliği kazancı karşılığında bir miktar kalite kaybı kabul edilir.
Neyi kazandırır?#
- Bellek: model daha küçük donanıma sığar; kenar cihazda çalışma mümkün olur.
- Bant genişliği: ağırlık okuma maliyeti düşer, üretim hızı artar.
- Maliyet: aynı donanımda daha fazla eşzamanlı istek karşılanır.
- Erişilebilirlik: yerel çalıştırma ve deneme maliyeti düşer.
Yaklaşımlar#
| Yaklaşım | Ne zaman uygulanır | Özellik |
|---|---|---|
| Eğitim sonrası nicemleme | Model eğitildikten sonra | Hızlı ve ucuz; kalite kaybı değişken |
| Kalibrasyonlu nicemleme | Küçük bir örnek kümeyle | Kaybı azaltır; ek adım gerekir |
| Nicemlemeye duyarlı eğitim | Eğitim sırasında | En iyi kalite; eğitim maliyeti yüksek |
| Karışık hassasiyet | Katman bazlı seçim | Hassas katmanlar yüksek bitte tutulur |
Karar çerçevesi#
- 01Kalite eşiğinizi görev setinizde tanımlayın; sıralama değil eşik kararı verin.
- 02Nicemlenmiş ve tam hassasiyetli sürümü aynı sette karşılaştırın.
- 03Kuyruk gecikmesi ve eşzamanlılık kapasitesini birlikte ölçün.
- 04Toplam maliyeti hesaplayın: donanım, operasyon ve kalite kaybının iş etkisi.
- 05Kararınızı sürüm notuna yazın; model yükseltmesinde tekrar ölçün.
Sık sorulan sorular
Nicemleme modeli "bozar" mı?
Kalite kaybı vardır ama miktarı yaklaşıma ve göreve bağlı; birçok senaryoda fark edilmeyecek kadar küçük olabilir. Önemli olan kaybın varsayılmak yerine ölçülmesi.
Budama (pruning) ile aynı şey mi?
Hayır. Nicemleme her ağırlığı daha az bitle temsil eder; budama bazı ağırlık veya birimleri tamamen kaldırır. İkisi birlikte de kullanılabilir.
Güncelleme geçmişi
- v1.0İlk yayın.
LEARN
Quantization konusunu uygulamaya dökmek ister misin?
Kavramı okudun; sırada onu bir rotanın içinde öğrenmek ve bir testle ölçmek var.