Gecikme, jeton ve maliyetin kırılımı

Teori: tek bir gecikme sayısı yoktur#

Tek bir "gecikme" sayısı üç farklı olayı birbirine karıştırır: isteğin kuyrukta beklediği süre, ilk jetonun dönmesine kadar geçen süre ve cevabın tamamlanma süresi. Akışlı bir arayüzde kullanıcı ilk jetonu hisseder; toplu bir işte ise tamamlanma süresi belirleyicidir. Hangi sayıyı iyileştirdiğinizi bilmiyorsanız, hangi değişikliğin işe yaradığını da bilemezsiniz.

Ortalama, uzun kuyruklu dağılımlarda yanıltır: çok sayıda kısa istek, az sayıda çok uzun isteği gizler. Yüzdelik izleyin ve yüzdeliği daima kırılımla birlikte okuyun. Bir sürümün yüksek yüzdeliği, o sürüme düşen trafiğin bileşimine göre değişir; kısa istekler yeni sürüme, uzun istekler eskisine gidiyorsa karşılaştırma baştan bozuktur.

Uygulamada: ölçülecek alanlar#

Bağlam uzunluğu maliyeti nasıl büyütür#

Uzun bağlam maliyeti iki yerden büyütür. Ön dolumda her jeton işlenir ve dikkat mekanizması her jetonu kendinden öncekilerle ilişkilendirdiği için iş yükü dizi uzunluğuyla doğrusaldan hızlı büyür. İkincisi, açık her isteğin ara durumu bellekte bağlam uzunluğuyla orantılı yer tutar; bu da eşzamanlılık sınırını aşağı çeker. Yani uzun bağlam yalnızca daha pahalı değil, aynı donanımda daha az eşzamanlı istek demektir.

• Sistem istemi: her istekte yeniden ödenir. Uzunluğu tek seferlik bir bedel değil, istek başına sabit bir vergidir.
• Sohbet geçmişi: pencereleme ya da özetleme kuralı yoksa sınırsız birikir ve maliyet zamanla sessizce artar.
• Getirilen parçalar: parça sayısı ile parça uzunluğu çarpan etkisi yapar; ikisi birlikte kararlaştırılmalıdır.
• Araç şemaları: kullanılmayan araçların tanımları da her istekte gönderilir.
• Örnek gösterimler: ölçüm yapılmadan eklenir ve çoğu zaman hiç çıkarılmaz.

Karar: maliyet muhasebesi nasıl kurulur#

1. 1Tek satır

   Her istek için tek bir kayıt satırı tutun; maliyet alanları bu satırın parçasıdır, ayrı bir sistem değil. Aşağıdaki şema alan kümesini gösterir, içindeki sayılar temsilîdir.

2. 2Sürüm bağı

   Satıra bileşik sürüm kimliğini yazın. Kırılım ancak bu bağla mümkündür; sürümsüz bir maliyet kaydı yalnızca bir toplamdır.

3. 3Vekil ölçüm

   Jeton sayacınız yoksa karakter sayısını vekil olarak kullanın ve alanı vekil olarak işaretleyin. İşaretlenmemiş vekil, zamanla ölçüm sanılır.

4. 4Etiket disiplini

   Kullanıcı kimliği, oturum kimliği ve serbest metin gösterge etiketi olmaz; kardinaliteyi patlatır. Bu alanlar kayıt satırında kalır, metrik etiketinde değil.

{
  "istek_kimligi": "<istek-kimligi>",
  "surum_kimligi": "destek-asistani/2026-02-11/3",
  "uc_nokta": "sohbet",
  "kuyruk_ms": 40,
  "ilk_jeton_ms": 620,
  "tamamlanma_ms": 2480,
  "girdi_uzunlugu": { "deger": 3120, "birim": "jeton" },
  "cikti_uzunlugu": { "deger": 210, "birim": "jeton" },
  "baglam_kirilimi": { "sistem": 280, "gecmis": 940, "getirilen": 1720, "arac_semasi": 180 },
  "yeniden_deneme": 0,
  "onbellek": "isabetsiz",
  "hata_sinifi": null
}

Sık yapılan hata#

En sık görülen hata, maliyeti yalnızca aylık toplamda izleyip istek başına kırılımı hiç kurmamaktır. Toplam yükseldiğinde elinizde tek bir sayı olur; hangi uç noktanın, hangi sürümün ya da hangi bağlam kararının bunu ürettiği bilinmez. İkinci sık hata, ölçüm bahanesiyle istem ve cevap gövdelerini olduğu gibi günlüğe yazmaktır: ölçüm için gövdeye değil, uzunluk ve kırılım alanlarına ihtiyacınız vardır.