Model çağrısı maliyetini iş akışına etiketlemek

Token başına maliyet hiçbir kararı beslemez, çünkü kimse token satın almıyor; herkes bir işin yapılmasını satın alıyor. Birim iş tanımı bu yüzden mühendislikten değil üründen gelir ve tek cümleyle yazılabilmelidir. Tanım netleşmeden kurulan pano, üzerine bakılan ama üzerinden karar verilmeyen bir panodur.

Etiket şemasının iki özelliği var: anahtar kümesi sabit, değer kümesi mümkün olduğunca sonlu. Sabit anahtar, altı ay sonra yazılan sorgunun bugünkü kayıtlarda da çalışmasını sağlar. Sonlu değer ise gruplama maliyetini öngörülebilir tutar; sınırsız kardinaliteli bir alan boyut olarak kullanıldığında analitik depo şişer ve sorgular kullanılamayacak kadar yavaşlar.

{
  "cagri_kimligi": "c-8f21",
  "birim_is_kimligi": "talep-44120",
  "etiketler": {
    "akis": "destek-asistani",
    "adim": "niyet-siniflandirma",
    "kiraci": "kurum-a",
    "ortam": "uretim",
    "model": "<model-adi>",
    "surum": "<istem-surumu>"
  },
  "kullanim": {
    "girdi_token": 0,
    "cikti_token": 0,
    "onbellek_isabeti": false,
    "gecikme_ms": 0,
    "sonuc": "basarili"
  }
}

Etiketleme projelerinin çoğu şemada değil yayılımda başarısız oluyor. Etiket giriş noktasında doğru üretiliyor, ama arka plan işine, kuyruk tüketicisine veya ajanın alt çağrısına geçtiğinde bağlam kopuyor. Sonuçta panonun gösterdiği tablo, gerçek harcamanın yalnızca senkron kısmını temsil ediyor ve en pahalı iş yükü görünmez kalıyor.

from contextvars import ContextVar

ETIKET = ContextVar("etiket", default={})


def etiketli_calistir(etiketler, islev, *args, **kwargs):
    """Bağlamı bir kez kurar; alt çağrılar aynı etiketi miras alır."""
    jeton = ETIKET.set({**ETIKET.get(), **etiketler})
    try:
        return islev(*args, **kwargs)
    finally:
        ETIKET.reset(jeton)


def model_cagir(istem, **secenekler):
    etiketler = ETIKET.get()
    if not etiketler.get("akis"):
        kaydet_etiketsiz_cagri(istem)  # sessizce geçme, say
    yanit = istemci.uret(istem, **secenekler)
    kullanim_yaz(etiketler, yanit)
    return yanit

• Kuyruk ve arka plan işleri: etiket mesajın gövdesine değil, iş üst verisine yazılır.
• Yeniden denemeler: aynı birim iş kimliğini korur, deneme sayacını ayrı alan olarak tutar.
• Ajan araç çağrıları: alt çağrı kendi adımını yazar, üst bağlamı ezmez.
• Toplu (batch) işler: tek bir toplu işin altındaki her öğe kendi birim iş kimliğini alır.
• Not defteri ve elle koşturulan betikler: ortam etiketi "gelistirme" olarak zorlanır.

Kullanım üst verisi yanıtla birlikte gelir ve yanıt tüketildikten sonra kaybolur. Fatura ise toplulaştırılmış bir belgedir: hangi akışın, hangi adımın veya hangi kiracının harcadığını taşımaz. Bu yüzden kayıt noktası çağrının kendisidir; başka bir yerde kurulan hat, kaçınılmaz olarak tahmine döner.

• Girdi ve çıktı token sayısı — sağlayıcının döndürdüğü değer, kendi tahmininiz değil.
• Model kimliği ve varsa sürüm bilgisi.
• Önbellek isabeti: tam isabet, önek isabeti veya isabetsiz.
• Gecikme ve sonuç: başarılı, hata, zaman aşımı, iptal.
• Yeniden deneme sayacı ve varsa yedek modele düşme bilgisi.

Mutabakat, etiket hattının tek nesnel doğrulamasıdır. Kendi toplamınız faturadan belirgin biçimde düşükse hattın görmediği trafik var demektir; yüksekse fiyat tablonuz veya sayım mantığınız yanlıştır. Her iki durumda da fark kapatılmadan yayımlanan bir pano, ekibi yanlış bir güvenle karar almaya iter.

1. 1Dönemi sabitle

   Faturanın kapsadığı aralığı ve saat dilimini kendi sorgunuzla birebir eşleyin; gün kayması tek başına anlamlı bir fark üretir.

2. 2Fiyat tablosunu tek yerden oku

   Birim fiyatları koda gömmeyin; sürümlenmiş tek bir yapılandırma kaynağından okuyun, böylece geçmiş hesap yeniden üretilebilir.

3. 3Farkı adreslendir

   Kalan farkı etiketsiz kovaya, ayrı anahtarlara veya farklı fiyatlanan kiplere (görsel, ses, gömme) atayın; "açıklanamayan" kovası boş kalmalı.

4. 4Mutabakatı tekrar eden işe bağla

   Dönem sonunda elle değil, her dönem otomatik koşan bir kontrol olarak çalıştırın ve sapma eşiğini uyarıya bağlayın.

Birim iş maliyetinin dağılımı hemen her sistemde çarpıktır: işlerin büyük kısmı ucuzdur, küçük bir kısmı harcamanın kayda değer bir bölümünü tüketir. Ortalama bu kuyruğu düzler ve ekibe "maliyet makul" der. Oysa kuyruktaki işlerin nedeni genellikle fiyat değil yapıdır ve yapısal nedenler düzeltilebilir olduğu için en yüksek getirili iş oradadır.

Doğrulama adımı: en pahalı yirmi birim işin izini elle okuyun. Bu yirmi izin ortak deseni, panonun hiçbir grafiğinde görünmeyen ama bütçenin önemli bir kısmını açıklayan tek maddedir.

Kademelendirme ürün düzeyinde değil adım düzeyinde bir karardır. Bir hatta niyet sınıflandırma, alan çıkarımı, yeniden yazma ve nihai muhakeme adımları aynı modeli kullanmak zorunda değil. Etiket şeması zaten adım kırılımını verdiği için, hangi adımın maliyetin çoğunu ürettiği ölçülebilir; kademe kararı da tahminle değil o kırılımla verilir.

İki farklı önbellek var ve gereksinimleri farklı. Tam cevap önbelleği, aynı girdinin aynı cevabı üretmesinin kabul edilebilir olduğu adımlarda çalışır; kişiselleştirilmiş cevaplarda kullanılamaz. İstem öneki önbelleği ise önekin birebir aynı kalmasını ister: sistem istemi, araç tanımları ve sabit talimatlar başta, değişken içerik sonda durmalıdır. Öneke tarih damgası veya kullanıcı adı eklemek, önbelleği fark edilmeden devre dışı bırakır.

• İşe yarar: sabit sistem istemi, uzun araç şemaları ve değişmeyen alan bağlamı önde duruyorsa.
• İşe yarar: aynı belgeye arka arkaya sorulan farklı sorular tek oturumda işleniyorsa.
• İşe yaramaz: her istekte öneke değişken bir değer (zaman, oturum kimliği) yazılıyorsa.
• İşe yaramaz: trafik seyrekse ve tekrar aralığı sağlayıcının saklama penceresini aşıyorsa.
• Riskli: kişiselleştirilmiş veya yetkiye bağlı cevaplar tam cevap önbelleğine yazılıyorsa.

Bütçe uyarısını toplam harcamaya değil birim iş maliyetine kurun. Toplam harcamanın artması büyümenin doğal sonucu olabilir ve her artışta alarm çalan bir sistem kısa sürede susturulur. Birim iş maliyetindeki sapma ise neredeyse her zaman bir regresyondur: şişen bağlam, yeni bir yeniden deneme yolu ya da sessizce devre dışı kalmış bir önbellek.