Bellek bütçesi ve hızlandırıcı kararı

Teori: üç kalem, tek tavan#

Birinci kalem ağırlıklar: parametre sayısı ile parametre başına bayt genişliğinin çarpımı. Bayt genişlikleri tanım gereği sabittir: fp32 dört bayt, bf16 ve fp16 iki bayt, sekiz bitlik tamsayı bir bayt, dört bitlik temsil yarım bayt. Bu kalem yük ile değişmez; kurulumda bir kez ödenir ve orada durur.

İkinci kalem dikkat önbelleği. Üretim aşamasında her yeni jeton kendisinden önceki tüm jetonlara bakmak zorundadır; geçmişi her adımda yeniden hesaplamak yerine her katmanın anahtar ve değer vektörleri saklanır. Boyut, iki (anahtar ve değer) çarpı katman sayısı çarpı anahtar-değer başlık sayısı çarpı başlık boyutu çarpı bayt genişliği kadardır ve bu, jeton başına maliyettir.

Bu formülde altyapıyı en çok etkileyen terim anahtar-değer başlık sayısıdır. Birçok mimaride sorgu başlıkları anahtar-değer başlıklarını paylaşır; paylaşım arttıkça saklanacak başlık sayısı düşer ve önbellek küçülür. Yani mimari bir tercih, doğrudan sizin eşzamanlılık tavanınıza dönüşür. Bu yüzden bütçe hesabı model yapılandırmasını okumakla başlar.

Üçüncü kalem ara değerler ve çalışma zamanı payı: geçici tamponlar, parçalanma ve çalışma zamanının önceden ayırdığı havuz. Bu kalem formülle kestirilmez, ölçülür. Bu yüzden bütçeye açıkça bir pay olarak yazılır ve ilk ölçümden sonra o payın gerçek değeriyle güncellenir.

Hesap#

BAYT = {"fp32": 4, "bf16": 2, "fp16": 2, "int8": 1, "int4": 0.5}


def kv_bayt_jeton_basina(katman, kv_baslik, baslik_boyutu, tip="bf16"):
    """Bir jetonun dikkat önbelleğinde tuttuğu yer. 2 çarpanı: anahtar + değer."""
    return 2 * katman * kv_baslik * baslik_boyutu * BAYT[tip]


def butce(bellek_gb, parametre_milyar, agirlik_tipi, kv_jeton_basina, pay=0.10):
    """pay: ara değer, parçalanma ve çalışma zamanı için ayrılan oran (varsayım)."""
    toplam = bellek_gb * 1024**3
    agirlik = parametre_milyar * 1e9 * BAYT[agirlik_tipi]
    kalan = toplam * (1 - pay) - agirlik
    return {
        "agirlik_gb": agirlik / 1024**3,
        "onbellek_icin_kalan_gb": kalan / 1024**3,
        "toplam_jeton_butcesi": int(kalan / kv_jeton_basina) if kalan > 0 else 0,
    }


# Katman sayısı, anahtar-değer başlık sayısı ve başlık boyutu kendi modelinizin
# yapılandırmasından okunur; buraya sabit sayı yazılmaz.

Bu hesabın asıl çıktısı toplam jeton bütçesidir: kalan belleğin kaç jetonluk geçmişi taşıyabildiği. Bu tek sayı, iki bilinmeyenle bölüşülür: eşzamanlı istek sayısı ve istek başına en uzun bağlam. İkisini birlikte belirleyemezsiniz; birini ürün kararı sabitler, diğeri hesaptan çıkar. Bütçe tablosunun değeri tam olarak bu zorunlu tercihi görünür kılmasıdır.

Bant genişliği mi, hesap gücü mü#

Karar: bütçeden hızlandırıcıya#

1. 1Yapılandırmayı okuyun

   Katman sayısı, anahtar-değer başlık sayısı, başlık boyutu ve ağırlık veri tipi bütçenin dört girdisidir.

2. 2Ağırlık ayak izini sabitleyin

   Parametre sayısı ile bayt genişliğinin çarpımı; yük ile değişmediği için ilk çıkarılacak kalem budur.

3. 3Jeton başına önbellek maliyetini çıkarın

   Kalan belleği bu sayıya bölerek toplam jeton bütçesini bulun; ara değer payını önceden ayırın.

4. 4Bütçeyi hizmet hedefine bölün

   Toplam jeton bütçesi, eşzamanlı istek sayısı ile en uzun bağlamın çarpımına eşittir. Birini sabitleyin, diğerini okuyun.

5. 5Kestirimi ölçümle karşılaştırın

   Gerçek doluluk kestirimden yüksekse fark ara değer, parçalanma ve çalışma zamanı payındadır. Payı ölçüme göre güncelleyip tabloyu yeniden okuyun.

Sık yapılan hata#

Birinci hata "model sığıyor, sorun yok" demek: ağırlıklar sığdığı halde tek haneli eşzamanlılıkta bellek tükenebilir, çünkü önbellek kalemi hiç hesaba katılmamıştır. İkinci hata bütçeyi ortalama istek uzunluğuyla kurmak. Bellek tavanını belirleyen ortalama değil, aynı anda sistemde bulunabilecek en uzun isteklerin toplamıdır; ortalamayla kurulan bütçe trafik kuyruğun sağ tarafına kaydığı anda çöker.