Hızlandırıcı seçmek ve bellek bütçesi çıkarmak

Donanım kararı iş yükünün fonksiyonudur, tersi değil. Aynı modeli çalıştıran iki ürün — kısa sorulara cevap veren bir asistan ile uzun belgeleri özetleyen bir hat — tamamen farklı bellek profilleri üretir. Profil yazılmadan yapılan kart karşılaştırması, hangi sütunun bağlayıcı olduğunu bilmeden yapılan bir karşılaştırmadır.

Ağırlık belleği hesabın en kolay ve en kesin kısmıdır: parametre sayısı ile parametre başına bayt sayısının çarpımı. Bayt karşılıkları tanım gereği sabittir, ölçüm değildir. Nicemlenmiş biçimlerde bunun üzerine küçük bir ek yük gelir, çünkü ölçek katsayıları ve sıfır noktaları da saklanır.

Nicemleme bellekten kazandırır ve çözümlemede okunan bayt azaldığı için çoğu durumda hızlandırır; karşılığında çıktı kalitesinden bir miktar ödün verir. Bu ödünün büyüklüğü göreve göre değişir ve yalnızca kendi değerlendirme setinizde ölçülerek bilinir — varsayılmaz. Ayrıca her sayı biçimi her donanımda hızlı çekirdeklerle desteklenmez; destek matrisini seçimden önce doğrulayın.

Uzman karışımı (MoE) mimarilerde ayrımı unutmayın: bellek toplam parametre sayısına göre, işlem gücü ise her token için etkinleşen parametre sayısına göre ölçeklenir. Böyle bir model belleği doldurur ama işlem gücünü aynı oranda yormaz; kart seçiminde bu iki sütun farklı yönlere çeker.

# VARSAYIM: değerler modelin yapılandırma dosyasından okunmalıdır.
katman = 80
kv_kafa = 8          # gruplanmış dikkatte; çok başlı dikkatte kafa sayısına eşittir
kafa_boyutu = 128
bayt = 2             # bf16

token_basina = 2 * katman * kv_kafa * kafa_boyutu * bayt   # 2: anahtar ve değer

eszamanli_istek = 32
ortalama_dizi = 8000  # girdi + üretilen token

toplam_kv = token_basina * eszamanli_istek * ortalama_dizi
print(token_basina / 1024, "KiB/token")
print(toplam_kv / 1024**3, "GiB toplam KV")

Formülün iki çarpanı doğrudan ürün kararıdır: eşzamanlılık ve dizi uzunluğu. Yani "kaç kullanıcıya aynı anda hizmet vereceğiz" ile "bağlamı ne kadar uzun tutacağız" aslında tek bir bellek kararıdır. Birini büyütmek diğerinin bütçesini daraltır.

Kafa yapısı burada belirleyicidir. Gruplanmış veya tek anahtar-değer kafası kullanan mimarilerde KV kafa sayısı düştüğü için token başına maliyet doğrusal olarak azalır; bu çoğu zaman modelin cihaza sığması ile sığmaması arasındaki farktır. Model kartındaki kafa sayısını değil, anahtar-değer kafa sayısını okuyun.

Bellek yetmezliği hataları neredeyse hiçbir zaman kararlı durumda ortaya çıkmaz. Ön doldurma sırasındaki geçici tamponlar toplu iş büyüklüğü ile istem uzunluğunun çarpımına göre büyür; ortalama istemle sorunsuz çalışan bir yapılandırma, alışılmadık uzunlukta tek bir istek geldiğinde çöker.

• Çalışma zamanı ve sürücü bağlamı
• Model ağırlıkları
• KV önbelleği havuzu
• Ön doldurma sırasındaki geçici aktivasyon tamponları
• Bellek ayırıcının parçalanma payı
• Çok cihazlı çalışmada iletişim tamponları
• Spekülatif çözümleme kullanılacaksa taslak modelin ağırlıkları

Doğrulama adımı: bütçeyi yazdıktan sonra en uzun istem senaryosunu tepe eşzamanlılıkla birlikte deneyin. Bu iki koşul ayrı ayrı sorun çıkarmasa da birlikte geldiklerinde çıkarır; üretimde de birlikte gelirler.

Tek bir isteğin token üretim hızını belirleyen şey tepe işlem gücü değil, ağırlıkları bellekten okuma hızıdır: her üretilen token için ağırlıkların baştan sona okunması gerekir. Bu yüzden kart karşılaştırırken bakılacak ilk sütun bant genişliğidir; başlık hâlindeki işlem gücü rakamı çözümleme hızını tahmin etmez.

Toplu işlem bu tavanı istek başına değil hat başına iyileştirir: aynı ağırlık okuması birden çok dizi için kullanıldığından verim yükselir, tek bir isteğin token hızı ise yükselmez. Sunum katmanındaki toplu işlem ve önbellek ayarları ayrı bir rehberin konusudur; burada yalnızca donanım tavanını belirlemek yeterlidir.

Bölme, bir maliyettir: tensor paralelliğinde her katmanda cihazlar arasında veri toplanır ve bu iletişim çözümlemenin her adımında tekrarlanır. Bağlantı yeterince hızlı değilse eklenen kart gecikmeyi düşürmek yerine artırır. Karar sırası bu yüzden nettir: önce sığdır, sığıyorsa kopyala; sığmıyorsa en az bölme ile sığdır.

Hesabı kendi rakamlarınızla kurun, hazır bir eşikle değil. Sahiplik tarafında donanım, barındırma, enerji, operasyon ekibi ve kullanılmayan kapasite; kiralama tarafında birim fiyat çarpı gerçek kullanım, artı taşınma ve bağımlılık maliyeti. İki tarafı da aynı doluluk varsayımıyla karşılaştırın; sahiplik ancak yüksek ve sürekli dolulukta öne geçer.

Hibrit bir kurgu — taban yükü sahip olunan donanımda, tepe yükü kiralanan kapasitede — kâğıt üzerinde her iki tarafın iyisini alır. Bedeli, iki yığını birden çalışır ve güncel tutmanın operasyon maliyetidir; bu maliyeti hesaba katmadan yapılan hibrit kararı genellikle geri alınır.