Kapasite planı ve geri alınabilir yayım
Yük testinden ölçekleme kuralı çıkarmayı, gecikme ve maliyet göstergelerini sürüm etiketiyle izlemeyi ele alır. Model, nicemleme, istem ve yönlendirme kuralını tek bir geri alınabilir dağıtım birimi olarak yayımlamayı kurar.
Önkoşul: Large Language Model, Quantization
BU DERSİN SONUNDA
- Doygunluk noktasını yük testinden bir ölçekleme kuralına çevirmek
- Ölçekleme sinyalini kullanım yüzdesi yerine kuyruk göstergelerine bağlamak
- Sürüm etiketi taşıyan bir ölçüm sözleşmesi tanımlamak
- Kademeli yayımı ve geri almayı tek bir dağıtım birimi üzerinden yürütmek
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Kapasite planı, tek bir kopyanın doygunluk noktasını bulup ölçeklemeyi o noktaya bağlı bir kurala çevirmektir. Doygunluğun işareti verimin artmayı bırakması ve bekleme süresinin büyümeye başlamasıdır. Bu yüzden ölçekleme sinyali hızlandırıcı kullanım yüzdesi değil, kuyruk derinliği ve ilk jeton gecikmesinin üst yüzdeliği olur.
Teori: doygunluk ve kuyruk#
Eşzamanlılığı kademe kademe artırdığınızda verim önce yükselir, sonra düzleşir. Düzleştiği noktadan sonra eklenen her istek iş üretmez, yalnızca kuyrukta bekler: verim sabit kalırken gecikmenin üst yüzdelikleri hızla açılır. Kuyruk kuramının temel bağıntısı (Little yasası) burada işinize yarar: sistemde aynı anda bulunan istek sayısı, varış hızı ile bir isteğin sistemde geçirdiği sürenin çarpımına eşittir. Bir gecikme hedefini bu bağıntıyla doğrudan bir eşzamanlılık tavanına çevirebilirsiniz.
Kullanım yüzdesinin yanıltıcı olmasının nedeni tanımıdır: yaygın sayaçlar bu değeri "en az bir hesap çekirdeğinin (kernel) çalıştığı zamanın oranı" olarak bildirir, yapılan işin miktarı olarak değil. Üretim aşaması sürekli küçük adımlardan oluştuğu için hızlandırıcı düşük toplu işte de neredeyse hep meşgul görünür; gösterge erken doyar ve sağlıklı durumla kuyruğa girmiş durumu ayırt etmez. Kuyruk derinliği, bekleme süresi ve reddedilen istek sayısı ayırt eder.
Yük testinden kurala#
- 1Birim işi sabitleyin
Yük, birinci derste tanımladığınız birim iş ile üretilir. Karışık trafikle yapılan test sayı üretir ama kural üretmez.
- 2Eşzamanlılığı kademeli artırın
Her kademede verim, bekleme süresi ve bellek doluluğunu birlikte kaydedin; üçü aynı satırda olmalı.
- 3Dirseği işaretleyin
Verimin düzleştiği ve bekleme süresinin büyümeye başladığı kademe, tek kopyanın kapasitesidir.
- 4Çalışma noktasını dirseğin altına koyun
Dirsekte çalışmak kuyruğu her dalgalanmada patlatır. Bırakılacak payın büyüklüğü trafiğinizin dalgalanmasına göre seçilir.
- 5Kuralı yazın
Ölçekleme kuralı kopya başına eşzamanlılık tavanı ile kuyruk derinliği eşiğini birlikte belirtir; yalnızca biri yazıldığında kural eksiktir.
Ölçüm sözleşmesi#
Her gösterge, hizmet biriminin sürüm etiketini üzerinde taşımak zorundadır; yoksa bir gerileme görülür ama nedeni atfedilemez. İkinci zorunluluk jeton muhasebesini birinci sınıf gösterge saymaktır: birim iş başına girdi ve çıktı jetonu, gecikme ile maliyet arasındaki tek köprüdür. Bu iki alan eksikse gözlemlenebilirlik, sorun çıktıktan sonra tahmin yürütmeye dönüşür.
| Gösterge | Neyi yakalar | Taşıması gereken etiket |
|---|---|---|
| İlk jeton gecikmesi (üst yüzdelik) | Dolum yükü ve kuyruk basıncı | Sürüm, yol, bağlam uzunluğu kademesi |
| Jeton başına süre | Üretim aşamasının sağlığı | Sürüm, ağırlık veri tipi, toplu iş doluluğu |
| Kuyruk derinliği ve bekleme süresi | Doygunluğa yakınlık | Kopya kimliği, öncelik sınıfı |
| Birim iş başına jeton | Maliyet ile gecikme arasındaki köprü | Sürüm, istek tipi, yönlendirme kararı |
| Kabul geçidi sonucu | Kalitede sessiz gerileme | Sürüm, değerlendirme kümesi sürümü |
İzleme kayıtlarının içeriği de bir tasarım kararıdır. Kayıtlar istem metnini değil istem sürümünü, içerik özetini ve jeton sayılarını taşırsa hem teşhis kabiliyeti korunur hem de kişisel veri gözlemlenebilirlik yığınına yayılmaz. Örnekleme oranı da yazılı olmalı; hangi isteklerin hiç kaydedilmediğini bilmeyen bir ekip, veride olmayan bir örüntüyü yokluk sanır.
Geri alınabilir yayım#
Dağıtım birimi altı parçadan oluşur: ağırlıklar, nicemleme ayarı, çalışma zamanı yapılandırması, istem ile şablon sürümü, yönlendirme kuralı ve geri getirme dizini sürümü. Bunlar birlikte davranışı belirler, dolayısıyla birlikte sürümlenir. Yalnızca imajı eski sürüme döndüren bir geri alma, yeni istemi ve yeni yönlendirme kuralını yerinde bırakır; ortaya daha önce hiç ölçülmemiş bir bileşim çıkar.
- Gölge trafik: kaydedilmiş istekler yeni sürüme kopyalanır, cevap kullanıcıya dönmez. Bellek profili ve kabul geçidi burada risksiz görülür.
- Kanarya: trafiğin küçük bir payı yeni sürüme verilir ve geçit göstergeleri otomatik izlenir; eşik aşılırsa yayım kendiliğinden durur.
- Kademeli yayım: pay büyütülürken her kademede aynı geçit yeniden değerlendirilir, kademe atlanmaz.
- Geri alma: tek işlemle dağıtım biriminin tamamı eski sürüme döner. Parça parça geri alma yeni bir yapılandırma üretir, eskisini geri getirmez.
- Tatbikat: geri alma, olay anında değil planlı bir zamanda en az bir kez denenmiş olmalı.
Sık yapılan hata#
Üç hata sürekli tekrarlanır. Ortalamaya alarm kurmak: doygunluk ortalamada görünmediği için alarm kuyruk çoktan büyüdükten sonra çalar. Modeli geri alıp istemi bırakmak: davranış eski haline dönmez, çünkü istem de davranışın parçasıdır. Kullanım yüzdesine ölçekleme kurmak: gösterge erken doyduğu için ölçekleme ya gereksiz erken ya da çok geç tetiklenir.
LAB · UYGULAMALI ALIŞTIRMA
Dağıtım birimini envanterleyin ve geri almayı tatbikat yapın
- 1Üretime giden son beş değişikliği listeleyin; her biri için hangi parçaların değiştiğini işaretleyin: ağırlık, nicemleme ayarı, çalışma zamanı yapılandırması, istem sürümü, yönlendirme kuralı, geri getirme dizini.
- 2Her satır için tek bir geri alma işleminin bu parçaların hepsini eski haline döndürüp döndürmeyeceğini kontrol edin; dönmeyen parçaları boşluk olarak yazın.
- 3Parçaların tamamını tek değerde toplayan bir sürüm etiketi tanımlayın ve şu anda yayınladığınız göstergelerden hangilerinde bu etiketin bulunmadığını listeleyin.
- 4Kanarya geçidini yazın: en çok üç gösterge, her biri için yüzdelik, gözlem penceresi ve eşik. Eşik değerleri birinci derste kurduğunuz taban tablosundan gelir.
- 5En son değişiklik üzerinde masa başı tatbikat yapın: hangi gösterge kaçıncı dakikada bakılır, kim karar verir, geri alma işlemi nedir. Adımları zamanlı yazın.
- 6Tatbikatta çıkan her boşluk için tek bir düzeltme maddesi açın ve sahibini yazın.
Beklenen çıktı
Boşlukları işaretlenmiş bir dağıtım birimi envanteri, taban ölçüme bağlanmış bir kanarya geçidi ve zamanlı bir geri alma yordamı.
Sık sorulan sorular
Ölçeklemeyi hızlandırıcı kullanım yüzdesine bağlamak neden yetersiz?
Çünkü bu sayaç çoğu kurulumda yapılan işin miktarını değil, en az bir hesap çekirdeğinin (kernel) çalıştığı zamanın oranını bildirir. Üretim aşaması sürekli küçük adımlardan oluştuğu için gösterge düşük yükte de yüksek görünür, erken doyar ve sağlıklı durumla kuyruğa girmiş durumu ayırt etmez. Kuyruk derinliği ile bekleme süresi bu ayrımı yapar.
Gölge trafik ile kanarya arasındaki fark ne?
Gölge trafikte cevap kullanıcıya dönmez: yeni sürümün bellek profilini ve kabul geçidi sonucunu risksiz görürsünüz, ama gerçek kullanıcı davranışını ve gerçek trafik karışımını göremezsiniz. Kanaryada cevap kullanıcıya döner; bu yüzden geçit ve otomatik durdurma zorunludur. İkisi birbirinin alternatifi değil, sıralı iki adımdır.
İstem değişikliği de sürüm sayılır mı?
Sayılır. Aynı ağırlıklarla farklı bir istem farklı davranış üretir; istemi sürümlemeyen bir hatta gerilemenin nedeni bulunamaz ve geri alma yarım kalır. İstem, ağırlıklar, nicemleme ayarı ve yönlendirme kuralı tek dağıtım biriminin parçalarıdır ve birlikte etiketlenir.
LEARN
AI Altyapı Mühendisi rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.