Mixture of Experts
MoE · Uzmanlar karışımı
Her girdi için ağdaki uzman alt bloklardan yalnızca birkaçını etkinleştirerek kapasiteyi maliyetten ayıran model mimarisidir.
Kısa cevap
Mixture of Experts, modelin toplam kapasitesini artırırken her girdi için yalnızca küçük bir kısmını çalıştırır. Böylece parametre sayısı ile çıkarım maliyeti birbirinden ayrılır.
Kapasite ile maliyeti ayırmak#
Yoğun bir modelde her girdi tüm parametrelerden geçer; parametre artışı doğrudan maliyet artışıdır. MoE mimarisinde bir yönlendirici, girdiyi yalnızca birkaç uzman bloğa gönderir. Toplam parametre büyür ama girdi başına yapılan işlem sabit kalır.
Yönlendirici nasıl çalışır?#
Her ileri beslemeli katman, tek bir blok yerine çok sayıda "uzman" bloktan oluşur. Küçük bir yönlendirici ağ, her token için hangi uzmanların çalışacağına karar verir — tipik olarak ikisi veya birkaçı. Diğer uzmanlar o token için hiç hesaplanmaz.
| Kavram | Anlamı | Neden önemli |
|---|---|---|
| Toplam parametre | Modeldeki tüm ağırlıklar | Bellek ve depolama ihtiyacını belirler |
| Etkin parametre | Bir token için çalışan ağırlıklar | Çıkarım maliyetini belirler |
| top-k yönlendirme | Token başına seçilen uzman sayısı | Kalite ile maliyet arasındaki ayar |
| Yük dengesi | Uzmanlara işin eşit dağılması | Dengesizlik kapasiteyi boşa harcar |
Ne kazandırır, ne maliyeti var?#
- Kazanç: aynı çıkarım maliyetiyle daha yüksek kapasite ve genellikle daha iyi kalite.
- Maliyet: tüm uzmanlar bellekte tutulmalı; bellek ihtiyacı etkin parametreye göre çok yüksek.
- Karmaşıklık: yük dengeleme ve yönlendirme kararlılığı ek eğitim zorluğu getirir.
- Dağıtım: uzmanların cihazlara dağıtılması ağ trafiği ve gecikme yaratır.
Sık sorulan sorular
Uzmanlar konulara göre mi ayrışıyor?
Genellikle insan için anlamlı konulara göre ayrışmaz. Yönlendirme, eğitim sırasında ortaya çıkan istatistiksel bir bölünmedir; "bu uzman hukuk metinlerine bakıyor" türü yorumlar çoğunlukla yanıltıcıdır.
MoE modelini nicemlemek mantıklı mı?
Bellek baskın kısıt olduğu için sıkça tercih edilir. Ancak kalite etkisi yoğun modellerden farklı olabilir; kendi görev setinizde ölçmeden üretime almayın.
Kaynaklar
- 01Sağlayıcı dokümantasyonları — Model ve altyapı sağlayıcıları · Dokümantasyon
Güncelleme geçmişi
- v1.1Yönlendirme ve etkin parametre bölümleri eklendi.
- v1.0İlk yayın.
LEARN
Mixture of Experts konusunu uygulamaya dökmek ister misin?
Kavramı okudun; sırada onu bir rotanın içinde öğrenmek ve bir testle ölçmek var.