Parametre sayısı artık bir ölçüt değil; karşılaştırmayı bozuyor

Tez#

Parametre sayısı bir dönem gerçekten yararlı bir kısayoldu. Benzer mimarilerle, benzer veri rejimleriyle eğitilmiş modeller karşılaştırıldığında büyüklük yetenekle ilişkiliydi ve tek bir sayıyla kaba bir sıralama yapılabiliyordu.

Bu kısayolun dayandığı varsayım — karşılaştırılan modellerin aynı rejimde eğitilmiş olması — artık geçerli değil. Bugün aynı parametre sayısına sahip iki model arasında büyük yetenek farkları olabiliyor ve daha küçük bir model daha büyüğünü birçok görevde geçebiliyor. Üç değişiklik bunu üretti: seyrek etkinleştirme toplam parametreyi yanıltıcı kıldı, eğitim verisinin miktarı ve kalitesi belirleyici hâle geldi, son eğitim aşamaları davranışı büyüklükten bağımsız biçimde şekillendiriyor. Parametre sayısı bu üç değişkeni de gizliyor.

Bağlam: parametrenin yerini ne aldı#

Tablo, parametre sayısının hangi soruya cevap verdiğini ve o soruların bugün hangi ölçüyle cevaplandığını gösteriyor.

İkinci ve dördüncü satırın birlikte yarattığı karışıklık seyrek mimarilerin doğrudan sonucu. Bu modellerde toplam parametre büyük — bellek ihtiyacını o belirliyor — ama her istekte yalnızca küçük bir alt küme etkinleşiyor, dolayısıyla hesaplama maliyeti ve hız aktif parametreye bağlı. Tek bir sayıyla konuşulduğunda iki farklı soru karışıyor: "ne kadar bellek ister" ile "ne kadar pahalı çalışır" farklı cevaplar alıyor.

Kanıt: karşılaştırma neye göre yapılmalı#

Model karşılaştırması parametre yerine dört boyutta yapılmalı. Dördü de ölçülebilir ve üçü sağlayıcı verisinden okunabiliyor.

• Kendi görevinizde ölçüm: karşılaştırmanın tek dayanağı bu. Genel skorlar yön verebilir, karar veremez.
• Fiyat: bin token başına giriş ve çıkış fiyatı. Parametre sayısı fiyatı belirlemiyor, sağlayıcının kararı belirliyor.
• Gecikme: ilk tokena kadar süre ve token hızı. Seyrek mimarilerde bu, toplam parametreyle ilişkisiz.
• Bağlam penceresi ve gerçek kullanım: ilan edilen pencere ile pencerenin tamamında korunan kalite farklı şeyler.
• Yapılandırılmış çıktı güvenilirliği: şema geçme oranı, parametre sayısıyla ilgisiz ve üretimde belirleyici.
• Sürüm kararlılığı: sağlayıcının sürüm politikası ve bildirim süresi; büyüklükten bağımsız bir risk boyutu.

Dördüncü madde en çok yanlış okunan ilan edilen özellik. Bir modelin bağlam penceresinin büyük olması, o pencerenin tamamında aynı kaliteyi koruduğu anlamına gelmiyor: bilginin pencerenin ortasında bulunduğu durumlarda kalite düşebiliyor. Bu yüzden pencere büyüklüğü bir kapasite ilanı, bir performans garantisi değil — ve doğru ölçüm bilginin konumuna göre yapılan bir testle elde ediliyor.

Mekanizma: üç değişikliğin ayrıntısı#

Kısayolu bozan üç değişikliği ayrı ayrı görmek, parametre sayısının neden bilgi taşımadığını da açıklıyor.

Birincisi seyrek etkinleştirme: modelin parametreleri uzmanlara bölünüyor ve her istekte yalnızca bir kısmı çalışıyor. Toplam parametre bellek ihtiyacını, aktif parametre hesaplama maliyetini belirliyor ve ikisi arasında büyük fark olabiliyor. İkincisi veri: aynı büyüklükte iki model, eğitim verisinin miktarı ve kalitesi farklıysa belirgin biçimde farklı yeteneklere sahip oluyor — ve veri miktarı hesaplama bütçesinin nasıl bölündüğüne dair bir karar, mimarinin bir özelliği değil. Üçüncüsü son eğitim: talimat uyumu, akıl yürütme davranışı ve araç kullanımı büyük ölçüde son aşamalarda şekilleniyor. Bu aşamaların etkisi büyüklükten bağımsız ve küçük bir modelin belirli bir görevde büyük bir modeli geçmesinin en sık nedeni. Üç değişken de parametre sayısına bakarak görülemiyor; bu yüzden sayı bir sıralama aracı olmaktan çıktı.

Karşı görüş#

Üç itiraz var. Birincisi: parametre sayısı hâlâ kaba bir üst sınır veriyor; çok küçük bir model belirli yetenekleri taşıyamıyor. İkincisi: kendi görevinizde ölçüm yapmak herkes için mümkün değil ve bir vekil ölçüye ihtiyaç var. Üçüncüsü: sağlayıcılar parametre sayısını açıklamıyor, dolayısıyla tartışma pratik olarak zaten kapanmış.

Daha büyük modele geçtik, kalite düşmedi ama fiyat üç katına çıktı. Sonra küçük modelle aynı işi yapan bir istem düzenlemesi bulduk. Büyüklük kararı en pahalı varsayımımızdı.

Birinci itiraz doğru ve tezin sınırını çiziyor: çok uçlarda büyüklük hâlâ bilgi taşıyor. Tez, aynı büyüklük sınıfındaki ve farklı ailelerdeki modeller arasındaki karşılaştırmaya dair. İkinci itiraz gerçek bir ihtiyacı gösteriyor ama vekil ölçü olarak fiyat ve gecikme parametre sayısından çok daha bilgilendirici ve ikisi de herkese açık. Üçüncü itiraz büyük ölçüde doğru ve tam olarak tezi destekliyor: sayı açıklanmadığı için tartışma söylentilere dayanıyor ve söylentiye dayanan bir karşılaştırma, ölçüme dayanan bir karşılaştırmanın yerine geçemiyor. Alıntının gösterdiği şey de bu — büyüklük kararı, ölçülmemiş bir varsayım olarak en pahalı kalem olabiliyor.

Sınırlar ve belirsizlik#

Bu analiz belirli modeller hakkında iddia taşımıyor ve parametre sayılarını karşılaştırmıyor.

• Sağlayıcılar parametre sayısı açıklamıyor: kamuya açık sayılar çoğu kez doğrulanmamış.
• Aktif parametre bilgisi de sınırlı: seyrek mimarilerde bu sayı genellikle paylaşılmıyor.
• Son eğitim rejimi kapalı: hangi aşamaların davranışı nasıl şekillendirdiği dışarıdan görülemiyor.
• Bağlam penceresinde kalite ölçümü yönteme bağlı: farklı testler farklı sonuç veriyor.

Sonuç#

Parametre sayısı bir vekil ölçüydü ve vekil ölçüler, arkalarındaki ilişki bozulduğunda yanıltıcı hâle geliyor. Seyrek etkinleştirme, veri rejimi ve son eğitim aşamaları bu ilişkiyi kırdı; bugün aynı büyüklükte iki model arasında belirgin yetenek farkları, küçük bir modelin büyüğünü geçmesi olağan.

Kalan tek meşru kullanımı kendi barındırmada bellek planlaması. Karşılaştırma için kullanılacak ölçüler farklı: kendi görevinizdeki ölçüm, fiyat, gecikme, pencerede korunan kalite, yapılandırılmış çıktı güvenilirliği ve sürüm kararlılığı. Altısı da ölçülebilir; parametre sayısı ise çoğu zaman doğrulanamaz bir söylenti.

Ne yapmalı?#

1. 1Karşılaştırmayı kendi görevinize taşıyın

   Genel skorlar yön verir, karar vermez. Kendi setiniz olmadan karşılaştırma bir söylenti sıralaması.

2. 2Toplam ve aktif parametreyi ayırın

   Bellek ihtiyacı toplamla, hesaplama maliyeti ve hız aktifle ilişkili. Tek sayı iki soruyu karıştırıyor.

3. 3Fiyat ve gecikmeyi vekil ölçü yapın

   İkisi de herkese açık ve parametre sayısından çok daha bilgilendirici.

4. 4Pencerede korunan kaliteyi ölçün

   İlan edilen pencere bir kapasite beyanı; bilginin konumuna göre kalite düşebiliyor.

5. 5Yapılandırılmış çıktı oranını izleyin

   Şema geçme oranı büyüklükten bağımsız ve üretimde belirleyici.

6. 6Sürüm politikasını karşılaştırma boyutu sayın

   Bildirim süresi ve eski sürüm erişimi, büyüklükten bağımsız bir risk boyutu.