Uçtan Uca Gecikme Bütçesi

Hesap ne yapıyor?#

Gecikme tartışması çoğu zaman tek bir sayı üzerinden yürür: "yanıt üç saniyede geliyor". Bu sayı hangi adımın ne kadar yediğini söylemediği için karar üretmez. Araç, süreyi getirme, yeniden sıralama, ilk token beklemesi, üretim ve son işlem olmak üzere beş paya böler, payları toplar ve toplamı sizin girdiğiniz bütçeyle karşılaştırır. Çıktı üç şeydir: her adımın milisaniye ve yüzde payı, bütçenin ne kadarının dolduğu, darboğaz adım için hangi müdahalenin denenmesi gerektiği.

Formül#

Bütün aritmetik sizin girdiğiniz yedi sayı üzerinde yapılır; araçta gömülü bir model ölçümü yoktur. Girdilerden yalnızca üretim süresi bir bölmeyle türetilir; aşağıdaki diğer büyüklükler beş payın toplanması, oranlanması ve bütçeyle karşılaştırılmasından çıkar. Hesap istemcide çalışır, girdiler sunucuya gönderilmez.

• Üretim süresi = üretilecek token ÷ üretim hızı × 1000 (ms). Hız 0 girilirse 1 token/s tabanı uygulanır; sonuç abartılı çıkar, hesap çökmez.
• Uçtan uca gecikme = getirme + yeniden sıralama + ilk token gecikmesi + üretim süresi + son işlem. İlk tokene kadar (akışlı algı) ise yalnızca ilk üç payın toplamıdır; akışlı arayüzde kullanıcının beklediği süre budur.
• Sabit pay = uçtan uca gecikme − üretim süresi. Çıktı uzunluğundan bağımsız olan, yani çıktıyı kısaltmakla değişmeyen kısım.
• Bütçe kullanımı = uçtan uca gecikme ÷ gecikme bütçesi × 100; kalan pay = bütçe − uçtan uca gecikme. Bütçe alanı boş bırakılırsa 1 ms tabanı uygulanır.
• Darboğaz = en büyük paya sahip adım; yüzde payı o adımın süresi ÷ uçtan uca gecikme. Bütün paylar sıfırsa darboğaz ilan edilmez.
• Bütçe aşıldığında iki çıkış yolu hesaplanır: gereken üretim hızı = üretilecek token ÷ ((bütçe − sabit pay) ÷ 1000) ve aynı hızda sığacak çıktı uzunluğu = (bütçe − sabit pay) ÷ 1000 × üretim hızı. Sabit pay bütçeyi tek başına dolduruyorsa ikisi de tanımsızdır; araç hız yerine kapsam değişikliğini önerir.

Varsayımlar#

• Adımlar seri çalışır. Getirme sürerken istemin hazırlanması gibi örtüşen işler ayrı sayılmaz; hattınızda örtüşme varsa toplam olduğundan yüksek çıkar.
• Üretim hızı yanıt boyunca sabit kalır. Parti doluluğu, bellek baskısı ve uzun bağlamın çözme hızını değiştirmediği varsayılır.
• İlk token iki payda birlikte sayılır. İlk token gecikmesi zaten ilk tokeni içerir, üretim süresi ise bütün tokenleri sayar; bu yüzden toplam bir token süresi (1 ÷ hız saniye) kadar yukarı yuvarlıdır. Araç, sonucu bilerek üst sınır tarafında tutar.
• Son işlem, üretim bittikten sonra başlar. Yanıt akarken çalışan doğrulama veya alıntı eşleme bu modelde ayrı bir pay olarak durur, örtüşmez.
• Girdilerin hepsi aynı yüzdelik diliminden okunmuş kabul edilir; karışık dilimlerden (biri ortanca, biri p95) okunan sayılar anlamlı bir toplam vermez.
• Arayüzdeki başlangıç sayıları yalnızca aracın ilk açılışta çalıştığını göstermek için konmuş örneklerdir; hiçbiri ölçüm değildir.

Neyi ölçmez#

Araç bir toplama cetvelidir, kuyruk modeli değildir. Eşzamanlı istek altında oluşan kuyruk beklemesini, hız sınırı yüzünden yapılan yeniden denemeleri, işlevin soğuk başlamasını ve ağ gidiş-dönüş süresini hesaba katmaz; bu kalemler yükün altında toplamın baskın parçası olabilir. Dağılımı da modellemez: her adıma p95 girerseniz çıkan toplam uçtan uca p95 değil, ondan yüksek bir üst sınırdır, çünkü yüzdelikler toplanamaz. Önbellek isabetli ve isabetsiz yolların farklı süreleri tek bir sayıya sıkıştırıldığı için karma trafikte ortalamayı temsil etmez. Son olarak hiçbir kalite yargısı üretmez: hızlanan bir hattın yanıt isabetinin ne olduğunu söylemez.

Kararı nasıl kullanmalı#

1. 1İzleme kaydından doldur

   Beş adımın süresini üretim izlerinden oku, tahmin girme. Hepsini aynı yüzdelik diliminden al ve hangi dilimi kullandığını not et; karar bu seçime bağlı değişir.

2. 2Darboğazı doğrula

   Aracın işaret ettiği adımı tek başına ölç: o adımı devre dışı bırakıp veya girdisini yarıya indirip toplamın gerçekten beklendiği kadar düştüğüne bak. Düşmüyorsa pay yanlış yerdedir.

3. 3Tek değişken oynat

   Aday sayısı, çıktı uzunluğu, taşınan bağlam ve son işlem adımlarından yalnızca birini değiştirip aracı yeniden çalıştır. Bütçe kullanımının nereye gittiğini kaydet; iki değişkeni birlikte oynatmak nedeni gizler.

4. 4Sığmıyorsa kapsamı konuş

   Sabit pay bütçeyi tek başına dolduruyorsa çözüm hesapta değildir: bir adım hattan çıkarılır, akışa geçilip söz verilen süre ilk tokene bağlanır veya bütçe rakamı yeniden kararlaştırılır.