Sunum katmanı ve aşamalı yayma
Sunum kapasitesini belirleyen ön dolum ve çözümleme evrelerini, nicemlemenin bellek kazancı ile kalite riski arasındaki ödünleşimini ve yayma stratejilerinin geri alma kolaylığına göre karşılaştırmasını kurar.
Önkoşul: Large Language Model, LLMOps
BU DERSİN SONUNDA
- Ön dolum ve çözümleme evrelerinin kapasiteye etkisini ayırt etmek
- Nicemlemenin bellek kazancı ile kalite riskini gerekçeli tartmak
- Kota ve geçici hata karşısında yeniden deneme düzeni kurmak
- Yayma stratejisini geri alma süresine göre seçmek
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Sunum katmanı, modelin kendisinden bağımsız olarak gecikmeyi ve kapasiteyi belirler. Kendi barındırmada sınırı bellek ve eşzamanlılık koyar, dış sağlayıcıda kota ve yeniden deneme düzeni. Yayma stratejisini seçerken asıl soru ne kadar hızlı yayabildiğiniz değil, kötü bir sürümden ne kadar çabuk dönebildiğinizdir.
Teori: iki evre, iki farklı yük#
Bir dil modeli isteği iki evrede çalışır: girdinin bir kerede işlendiği ön dolum ve cevabın jeton jeton üretildiği çözümleme. Ön dolum girdi uzunluğuyla büyür ve hesap yoğundur; çözümleme çıktı uzunluğuyla büyür ve büyük ölçüde bellek erişimiyle sınırlanır. Bu yüzden "saniyede kaç istek" tek başına kapasiteyi anlatmaz: aynı sayıda istek, girdi ve çıktı uzunluğuna göre birbirinden çok farklı yük üretir.
Eşzamanlılık arttıkça toplam verim artar ama istek başına gecikme de artar; ayrıca her açık isteğin ara durumu bellekte yer tutar ve bu yer yalnızca girdiyle değil, o ana kadar üretilmiş jetonlarla birlikte bütün dizi uzunluğuyla büyür. Uzun cevap üreten bir istek, süresi boyunca giderek daha çok bellek tutar. Eşzamanlılık sınırı bu yüzden bir tercih değil zorunluluktur. Sınır konmazsa sistem, hiçbir isteğin zamanında bitmediği ve hepsinin zaman aşımına uğradığı bir kuyruğa dönüşür.
Kendi barındırma: nicemlemenin ödünleşimi#
Nicemleme, model ağırlıklarını daha az bit genişliğinde saklamaktır. Doğrudan kazanç bellektedir: ağırlıklar küçülür, aynı donanıma daha büyük bir model ya da daha çok eşzamanlı istek sığar. Hız kazancı ikincildir ve koşula bağlıdır; darboğaz bellek bant genişliğindeyse belirgin olur, hesap tarafındaysa kayda değer olmayabilir. Feragat edilen şey kalitedir: düşük bit genişliği ağırlıkları yuvarlar ve bu yuvarlama bazı görevlerde hiç hissedilmezken bazılarında hissedilir.
Dış sağlayıcı: kota ve yeniden deneme#
- Yeniden deneme yalnızca geçici hatalarda yapılır: kota aşımı, zaman aşımı, sunucu tarafı hatası. Geçersiz istek yeniden denenmez, yalnızca kaynak yakar.
- Bekleme süresi üstel artmalı ve rastgele bir sapma taşımalı; sapma yoksa bütün istemciler aynı anda geri döner ve dalga tekrarlanır.
- Zaman aşımı tek denemenin süresini, bütçe ise bütün denemelerin toplamını sınırlar. İkisi ayrı ayarlanmazsa ilk uzun deneme bütçeyi yer ve yeniden deneme hiç çalışmaz.
- Yan etkili çağrılarda idempotans anahtarı zorunludur; yeniden deneme aynı işi ikinci kez yaptırmamalıdır.
- Kota tükendiğinde ne olacağı önceden yazılır: kuyruğa alma, daha küçük modele düşme ya da açıkça reddetme. Sessizce yavaşlamak en kötü seçenektir.
Yayma stratejileri#
| Strateji | Geri alma | Bedeli | Ne zaman |
|---|---|---|---|
| Doğrudan değiştirme | Yeni bir yayma gerektirir, en yavaş yol | En ucuz | Yalnızca etkisi düşük ve geri dönüşü kolay değişikliklerde |
| Mavi-yeşil | Yönlendirmeyi eski yığına çevirmek, saniyeler | İki yığın aynı anda ayakta tutulur | Kaynak ayırabiliyorsanız varsayılan seçim |
| Kanarya | Payı sıfıra çekmek, hızlı | Yönlendirme ve sürüm kırılımlı ölçüm altyapısı ister | Davranış farkını gerçek trafikte görmek gerektiğinde |
| Gölge koşu | Kullanıcıya hiç dokunmadığı için geri alma gerekmez | Çift maliyet; yan etkiler engellenmeli | Yeni sürümü yayımdan önce canlı trafikle karşılaştırmak için |
| Özellik bayrağı | Bayrağı kapatmak, anında | Kodun içinde iki yol birlikte yaşar | İstem ve yapılandırma değişikliklerinde |
Karar: hangi strateji#
- 1Etki yüzeyi
Değişen yalnızca istem ya da parametre mi, yoksa model veya dizin mi? Model ve dizin değişiklikleri gölge koşuyu hak eder.
- 2Sinyal
Yayma sırasında hangi ölçüme bakacağınızı önceden yazın. Bakılacak bir sinyal yoksa kanaryanın hiçbir anlamı yoktur.
- 3Geri alma yolu
Geri alma komutunu yaymadan önce yazın ve bir kez deneyin. Denenmemiş geri alma, olay anında yeni bir sorundur.
- 4Pay planı
Trafik paylarını ve her adımda beklenecek süreyi önceden sabitleyin; "iyi görünüyor" izlenimiyle ilerlemeyin.
Sık yapılan hata#
Yaygın hata, aşamalı yayma kurup ölçümü kirletmektir. Eski ve yeni sürüm aynı yanıt önbelleğini paylaşıyorsa, kanaryaya düşen isteklerin bir bölümü eski sürümün cevabını görür; ölçtüğünüz fark gerçek farkın altında kalır. Aynı şey paylaşılan oran sınırları için de geçerlidir: yeni sürüm eski sürümün kotasını tüketerek ona ait hataları üretir ve suç yanlış tarafa yazılır.
LAB · UYGULAMALI ALIŞTIRMA
Yayma planını yazın ve geri alma süresini ölçün
- 1Kendi ortamınızdaki bir uç noktayı seçin; dağıtılmış bir uç noktanız yoksa bir yapılandırma dosyası, bir istem dosyası ve bir çağrı betiğinden oluşan yerel bir sürüm kurup onu uç nokta yerine koyun. Seçtiğiniz hedef için eşzamanlılığı, kabul edilebilir kuyruk süresini ve uçtan uca zaman aşımı bütçesini yazın.
- 2Sistemde ortalama kaç isteğin aynı anda bulunacağını, varış hızı ile sistemde kalma süresinin çarpımından hesaplayın ve eşzamanlılık sınırını bu sayıya göre yapılandırmaya taşıyın.
- 3Aşamalı yayma tablosunu doldurun: her aşama için trafik payı, beklenecek süre, izlenecek sinyal ve geri alma koşulu.
- 4Geri alma prosedürünü komut düzeyinde yazın; kimin çalıştıracağını ve hangi yetkinin gerektiğini belirtin.
- 5Prosedürü gerçekten koşturup saat tutun: yeni durumdan önceki duruma dönüş kaç dakika sürüyor?
- 6Ölçtüğünüz süre kabul edilemezse tek bir değişiklik uygulayın (eski yığını ayakta tutmak, bayrak eklemek, yönlendirmeyi ayırmak) ve tekrar ölçün.
Beklenen çıktı
Sinyalleri ve geri alma koşulları yazılmış bir aşamalı yayma planı ve tatbikatla ölçülmüş bir geri alma süresi.
Sık sorulan sorular
Nicemlenmiş modeli değerlendirmeden yayımlayabilir miyim, sonuçta aynı model?
Aynı model değil, aynı modelin farklı bir gerçeklemesidir. Yuvarlama bazı görevlerde fark üretmez, bazılarında üretir; hangisi olduğunu ancak kendi değerlendirme setinizde görürsünüz. Nicemlenmiş sürüm ayrı bir sürüm kimliği alır ve kapıdan ayrıca geçer.
Kanarya payını kaça ayarlamalıyım?
Payın kendisi anlam taşımaz; sinyali ne kadar sürede görebildiğiniz belirler. Bakacağınız ölçümün anlamlı olması için gereken istek sayısını yazın, trafiğinizi bilerek payı ve bekleme süresini buna göre seçin. Sinyali göremeyecek kadar küçük bir pay riski azaltmaz, yalnızca kararı erteler.
Gölge koşu gerçekten bedava mı?
Hayır. İstekler iki kez işlenir, yani kaynak ve kota iki kat tüketilir. Daha önemlisi, gölge yolun yan etkileri engellenmelidir: araç çağıran, kayıt yazan ya da bildirim gönderen bir akışta gölge koşu gerçek işler yapar. Yan etki kapatılamıyorsa gölge koşu uygun bir yöntem değildir.
LEARN
MLOps Mühendisi rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.