Çıkarım maliyetinin bileşenleri
Bir çıkarım isteğinin kaynağı nerede harcadığını dolum ve üretim aşamalarına ayırır. Gecikme ile verimin neden ayrı göstergeler olduğunu ve kendi trafiğiniz için taban ölçümü nasıl sabitleyeceğinizi gösterir.
BU DERSİN SONUNDA
- Bir isteğin maliyetini dolum ve üretim aşamalarına ayırmak
- İlk jeton gecikmesi ile jeton başına süreyi ayrı göstergeler olarak yorumlamak
- Kurumun trafiğine uyan bir birim iş tanımı sabitlemek
- Sonraki altyapı kararlarının karşılaştırılacağı taban ölçüm tablosunu kurmak
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Bir çıkarım isteği tek bir iş değil, iki farklı aşamadır: girdi jetonlarının tek geçişte işlendiği dolum ve çıktı jetonlarının birer birer üretildiği üretim. Bu iki aşama farklı kaynakları tüketir, farklı davranır ve farklı göstergelerle ölçülür. Maliyet ve gecikme tartışması, bu ayrım yapılmadan yürütülemez.
Teori: iki aşama, iki darboğaz#
Dolum aşamasında girdinin tüm jetonları aynı anda işlenir. İş paralelleşebildiği için hızlandırıcının hesap gücü doyar; darboğaz aritmetiktir. Bu yüzden girdi uzadıkça ilk jetonun gelme süresi büyür. Dikkat kısmı girdi uzunluğunun karesine yakın arttığı için bu büyüme doğrusal değildir.
Üretim aşamasında ise her seferinde tek bir jeton üretilir. Model, ürettiği her jeton için ağırlıklarının tamamını bellekten yeniden okumak zorundadır. Yapılan hesap azdır ama taşınan bayt çoktur; darboğaz hesap gücü değil bellek bant genişliğidir. Bu, altyapı kararlarının yarısını tek başına açıklayan gerçektir.
İki aşamanın ayrı darboğazı olduğu için tek bir gecikme sayısı bilgi taşımaz. Dolumun sağlığı ilk jeton gecikmesinde, üretimin sağlığı jeton başına sürede görünür. Bir değişiklik birini iyileştirip diğerini bozabilir; ikisini tek ortalamada toplamak bu etkiyi gizler.
Bağlam uzunluğu hangi kalemi büyütür#
| Kalem | Neyle büyür | Hangi göstergeye vurur |
|---|---|---|
| Girdi jetonlarının işlenmesi | Girdi uzunluğuyla; dikkat kısmı uzunluğun karesine yakın artar | İlk jeton gecikmesi |
| Çıktı jetonlarının üretimi | Çıktı jeton sayısıyla doğrusal | Toplam süre ve jeton başına süre |
| Dikkat önbelleği | Girdi ile o ana kadarki çıktının toplamı, eşzamanlı istek sayısıyla çarpılı | Bellek tavanı, dolayısıyla verim |
| Ağırlıkların okunması | İstek uzunluğundan bağımsız; üretilen her jetonda yeniden | Jeton başına süre |
| Kuyrukta bekleme | Eşzamanlılık ile doluluk oranı | İlk jeton gecikmesinin üst yüzdelikleri |
Dikkat önbelleği bu tablonun en çok şaşırtan satırıdır, çünkü bir isteğin maliyetini isteğin kendisiyle değil komşularıyla birlikte belirler. Uzun bağlamlı tek bir istek, kendisi yavaşlamasa bile aynı anda kabul edilebilecek istek sayısını düşürür. Bu kalemin hesabı ikinci dersin konusudur; burada yalnızca maliyet tablosundaki yerini işaretliyoruz.
Birim iş tanımı#
- 1Trafiği sınıflara ayırın
Günlüklerden istek tiplerini çıkarın: kısa sohbet, uzun belge özeti, yapılandırılmış alan çıkarımı gibi.
- 2Her sınıf için jeton profili yazın
Girdi ve çıktı jeton aralığını ayrı ayrı not edin; ikisi aynı kaleme yazılmaz.
- 3Baskın sınıfı seçin
Hacmin çoğunu üreten sınıf birim iş olur; geri kalanlar ayrı satırlarda izlenir, ortalamaya karıştırılmaz.
- 4Birimi yazıya geçirin
Birim iş; girdi uzunluğu, çıktı uzunluğu ve kabul edilen gecikme hedefiyle birlikte tanımlanır.
- 5Değişmez ilan edin
Sonraki her karşılaştırma bu birim üzerinden yapılır. Birim değişirse eski ölçümler geçersizdir ve yeniden alınır.
Taban ölçüm tablosu#
- Birim iş sınıfı ve tanımı: girdi ile çıktı jeton aralığı dahil.
- İlk jeton gecikmesi: orta değer ve bir üst yüzdelik, ayrı kolonlarda.
- Jeton başına süre: üretim aşamasının hızı.
- Eşzamanlı istek sayısı: ölçümün hangi yük altında alındığı.
- Saniyede üretilen jeton: aynı yükteki verim.
- Ölçüm koşulları: sürüm, ağırlık veri tipi, bağlam uzunluğu ve istem sürümü.
Sık yapılan hata#
En yaygın iki hata birbirini besler. Birincisi tek ortalama gecikmeyle çalışmak: doygunluk önce kuyruğun üst yüzdeliklerinde belirir, ortalamaya çok daha geç ve sönümlenmiş olarak yansır. İkincisi girdi ve çıktı jetonlarını aynı kaleme yazmak: aynı sayıda girdi ve çıktı jetonu ne aynı süreyi ne aynı kaynağı tüketir, çünkü biri paralel işlenir diğeri sırayla üretilir.
LAB · UYGULAMALI ALIŞTIRMA
Kendi trafiğiniz için taban ölçüm tablosu kurun
- 1Son bir haftanın istek günlüğünden rastgele 50 istek seçin; her biri için girdi ve çıktı metnini ayrı kolonlara alın.
- 2Elinizdeki jetonlayıcıyla iki kolonun jeton sayısını hesaplayın; jetonlayıcı yoksa karakter-jeton oranını varsayım olarak yazın ve bu varsayımı tablonun başına not edin.
- 3İstekleri girdi-çıktı profiline göre en çok üç sınıfa ayırın ve her sınıfın hacim payını yazın.
- 4Baskın sınıfı birim iş olarak sabitleyin: girdi aralığı, çıktı aralığı ve hedef ilk jeton gecikmesi tek satırda.
- 5Taban tablosunu doldurun; ölçemediğiniz hücreleri boş bırakmayın, "ölçülmedi" yazıp nasıl ölçeceğinizi tek cümleyle ekleyin.
Beklenen çıktı
Trafiğin sınıf dağılımı, sabitlenmiş bir birim iş tanımı ve eksik hücreleri açıkça işaretlenmiş bir taban ölçüm tablosu.
Sık sorulan sorular
Girdi ve çıktı jetonları neden aynı kaleme yazılmıyor?
Girdi jetonları tek geçişte paralel işlenir; çıktı jetonları sırayla üretilir ve her biri için ağırlıkların yeniden okunması gerekir. Bu yüzden aynı sayıda girdi ve çıktı jetonu aynı süreyi ve aynı kaynağı tüketmez. Aradaki oranı kendi ölçümünüzle çıkarın, varsayılan bir katsayı yoktur.
Ortalama gecikme yerine hangi yüzdeliği izlemeliyim?
Kullanıcının hissettiği davranış kuyruğun üst kısmında belirir, bu yüzden orta değerin yanında en az bir üst yüzdelik izlenir. Hangi yüzdeliğin sözleşme olduğu ürün kararıdır; ama tek bir ortalamayla yürütülen kapasite planı doygunluğu ancak çok geç fark eder.
Akış kullanıyorsak toplam süre önemsiz mi?
Algı için ilk jeton gecikmesi belirleyicidir, doğru. Ama toplam süre kaynağı tutar: istek bitene kadar dikkat önbelleğindeki yerini bırakmaz ve o yer başka isteğe verilemez. Algı için ilk jeton, kapasite için toplam süre izlenir.
LEARN
AI Altyapı Mühendisi rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.