Model çağrısını üretime almak: zaman aşımı, yeniden deneme, akış

Zaman aşımı değerlerini tek tek seçerek başlamak, yanlış uçtan başlamaktır. Önce kullanıcıya vaat edilen toplam süreyi yazın: bir sohbet yanıtı, bir form doldurma önerisi ve gece çalışan bir toplu iş aynı bütçeye sahip olamaz. Bütçe belirlendikten sonra her katmanın payı bu sayının içinden çıkar, dışarıdan eklenmez.

Tek bir "istek zaman aşımı" değeri iki farklı arızayı aynı kovaya atar: hiç cevap vermeyen bir sunucu ile yavaş ama üreten bir sunucu. İkincisini beklemek çoğu zaman doğrudur, birincisini beklemek her zaman kayıptır. Eşiği üçe bölmek bu ikisini ayırır.

• Bağlantı zaman aşımı: TCP ve TLS el sıkışması için. Kısa tutulur, çünkü burada geçen süre üretimle ilgili değildir.
• İlk token zaman aşımı: sağlayıcı isteği kuyruğa mı aldı yoksa çalışıyor mu — bunu ayırt eden tek eşik budur.
• Toplam yanıt zaman aşımı: uzun üretimin üst sınırı; çıktı uzunluğu sınırıyla birlikte düşünülür.
• Akışta dördüncü eşik: iki parça arasındaki en uzun sessizlik. Açık kalıp veri göndermeyen bir bağlantı, kopmuş bağlantıdan farklı bir arızadır.

from dataclasses import dataclass


@dataclass
class ZamanAsimi:
    baglanti: float    # el sıkışma
    ilk_token: float   # ilk parça gelene kadar
    toplam: float      # çağrının üst sınırı
    sessizlik: float   # akışta iki parça arası


def cagir(istek, esik: ZamanAsimi, kalan_butce: float):
    if kalan_butce <= esik.baglanti:
        raise ButceBitti("model çağrısına yer kalmadı")
    # Etkin eşik her zaman ikisinden küçüğü: yapılandırma değil bütçe bağlar.
    return istemci.cagir(
        istek,
        baglanti=esik.baglanti,
        ilk_token=min(esik.ilk_token, kalan_butce),
        toplam=min(esik.toplam, kalan_butce),
    )

Doğrulama adımı: sağlayıcıyı taklit eden bir uç nokta kurun. Biri hiç cevap vermesin, biri çok yavaş üretsin, biri ilk tokenden sonra bağlantıyı kapatsın. Üç durumda da günlükte farklı bir sonlanma nedeni görmüyorsanız eşikleriniz ayrışmamış demektir.

Yeniden deneme politikası, hata sınıflandırmasından sonra gelir. Sınıflandırma yoksa iki uçtan birine düşülür: ya her hata denenir ve kalıcı arızalar bütçeyi yer, ya hiçbiri denenmez ve geçici bir dalgalanma kullanıcıya hata olarak yansır.

Sabit aralıkla yeniden deneme, yükün altında kalan bir sağlayıcıyı topluca yeniden vurur: aynı saniyede hata alan bin istemci, aynı saniyede tekrar dener. Beklemeyi her denemede katlayarak artırmak yükü zamana yayar; üzerine rastgele sapma eklemek istemcileri birbirinden ayırır.

import random


def bekleme(deneme: int, taban: float, tavan: float) -> float:
    """Üstel artış + tam rastgele sapma (full jitter)."""
    ust = min(tavan, taban * (2 ** (deneme - 1)))
    return random.uniform(0, ust)

1. 01Deneme sayısına değil kalan bütçeye bakın: bekleme süresi bütçeyi aşacaksa yeni deneme yapılmaz.
2. 02Sağlayıcı Retry-After gönderiyorsa kendi hesabınızı değil onu kullanın.
3. 03Deneme üst sınırını bütçeden türetin; sayıyı artırmak bütçeyi büyütmediğiniz sürece yalnızca son denemenin kesilme ihtimalini artırır.
4. 04Kuyrukta çalışan işlere ayrı politika yazın: kullanıcı beklemiyorsa bütçe geniş, geri çekilme uzun olabilir.

Doğrulama adımı: hata enjeksiyonuyla ardışık 429 döndürün ve günlükten deneme zamanlarını çıkarın. Aralıklar katlanarak artmıyorsa geri çekilme, hepsi birbirinin aynısıysa sapma uygulanmıyor demektir.

Zaman aşımı, isteğin işlenmediği anlamına gelmez; yalnızca cevabın size ulaşmadığı anlamına gelir. Sağlayıcı isteği almış, model üretmiş, sizin bağlantınız kopmuş olabilir. Yan etkisiz bir metin üretiminde bu sadece boşa giden bir çağrıdır; araç çağıran bir akışta ise iki kez gönderilmiş bir e-posta ya da iki kez açılmış bir kayıt demektir.

1. 1İstek kimliği üret

   Kimlik çağrının metninden değil iş biriminden türetilir; aynı iş için yapılan yeniden denemede aynı kimlik kullanılır.

2. 2Kimliği hem sağlayıcıya hem kendi kaydına yaz

   Sağlayıcı tekilleştirme başlığı destekliyorsa gönderin; desteklemiyorsa tekilleştirmeyi kendi tarafınızda yapın.

3. 3Yan etkiyi kimlikle koru

   Araç çağrısı, veritabanı yazımı ve bildirim gönderimi aynı kimlikle ikinci kez çalıştırılmaz.

4. 4Sonucu kimlikle sabitle

   Yeniden deneme başarılı olduktan sonra ilk denemenin geç gelen cevabı kaydı bozmamalı; geç gelen yanıt atılır.

Akışta HTTP durum kodu cevabın ilk baytıyla birlikte gönderilir — yani 200 dönmüş bir çağrı sonradan başarısız olabilir. Bu, hata iletiminin gövdenin içine taşınması gerektiği anlamına gelir: istemci, akışın normal mi bittiğini yoksa koptuğunu mu bilmek zorunda.

• Akışın sonunu açık bir olayla bildirin; bağlantının kapanması bitiş sinyali değildir.
• Hata için ayrı bir olay tipi tanımlayın ve içine istek kimliğini koyun.
• Uzun sessizliklerde canlılık sinyali gönderin; aradaki vekil sunucular sessiz bağlantıyı kapatabilir.
• İstemci bağlantıyı kapattığında iptali sağlayıcıya kadar taşıyın; aksi hâlde kimsenin okumayacağı bir üretim devam eder.

Kısmi çıktı bir istisna değil, akış kullanan her sistemin düzenli olarak karşılaştığı bir durum. Karar önceden verilmezse her çağrı noktası kendi yolunu seçer ve aynı arıza iki farklı sonuç üretir.

Kısmi çıktıyı saklayacaksanız ayrı bir alanda ve açık bir bayrakla saklayın. "Yarım" bir durumdur; kaydedilmezse iki gün sonra tam kayıt sanılır ve raporlara öyle girer.

Sağlayıcı geniş çaplı bir arıza yaşadığında yeniden deneme mantığı sorunu büyütür: her istek birkaç kez denenir, eşzamanlı bağlantı sayısı şişer ve kendi servisiniz de cevap veremez hâle gelir. Devre kesici bu döngüyü keser — eşik aşıldığında çağrılar denenmeden ve hızlıca reddedilir.

1. 1Eşiği ölç

   Kayan pencerede hata ve zaman aşımı oranı izlenir; eşik aşılınca devre açılır.

2. 2Devreyi aç

   Yeni çağrılar sağlayıcıya gitmeden geri çekilme yoluna düşer; kuyruk büyümez.

3. 3Yarı açığa geç

   Bekleme süresi dolduğunda devre yarı açık duruma geçer ve sınırlı sayıda deneme çağrısına izin verilir; deneme başarısız olursa devre yeniden açılır ve bekleme uzar.

4. 4Devreyi kapat

   Ardışık başarı eşiği geçildiğinde normal trafiğe dönülür ve geçiş kayda yazılır.

• Önbellekten cevap: aynı veya benzer istek daha önce cevaplandıysa, tazeliği belirtilerek verilir.
• Daha küçük veya başka bir sağlayıcıdaki model: yanıt kalitesi düşer ama servis ayakta kalır.
• Modelsiz yol: kural tabanlı cevap, arama sonucu listesi ya da insana yönlendirme.
• Dürüst hata: şu an cevap üretilemediğini söylemek, yanlış cevap üretmekten iyidir.

Çağrı başına tek bir kayıt yetmez. Yeniden denemeler tek satırda birleştirilirse dışarıdan bakan biri servisin yavaşladığını görür ama nedenini göremez. Her deneme ayrı satır olmalı ve satırlar ortak bir istek kimliğiyle birbirine bağlanmalı.

{
  "istek_kimligi": "c7f1a3",
  "deneme": 2,
  "istem_surumu": "destek-yanit@7",
  "ilk_token_ms": 812,
  "toplam_ms": 4310,
  "sonlanma": "tamam",
  "onceki_hata": "429",
  "girdi_token": 1840,
  "cikti_token": 260,
  "kesildi": false
}

• İlk token süresinin yüzdelik dağılımı — ortalama, kuyruğu gizler.
• Deneme oranı: yeniden denenen çağrıların payı; sessizce artması sağlayıcıda bozulma habercisidir.
• Zaman aşımı ve iptal oranları ayrı ayrı; ikisi farklı arızalardır.
• Kesilen çıktı oranı: çıktı uzunluğu sınırına çarpan yanıtlar.

Yukarıdaki satırdaki sayılar biçimi göstermek içindir, ölçüm değildir. Bir de uyarı: istem ve çıktı metnini bu satıra gömmeyin. Metin kişisel veri taşıyabildiği için ayrı bir depoda, ayrı saklama süresi ve ayrı erişim yetkisiyle tutulmalı; kayıt satırında yalnızca ona işaret eden kimlik durmalı.