İçeriğe atla
SinaptikLabAI KNOWLEDGE PLATFORM
DersOrta40 dakikaLLM Uygulama Geliştirici · 4. ders

Maliyet ve gecikme bütçesi kurmak

İstek başına jetonu kovalarına ayırarak bir bütçe denklemi kurmayı, hangi kaldıracın neyi düşürüp neyi bozduğunu ve gecikme ile maliyet arasındaki ödünleşimi değerlendirmeyi öğretir.

Önkoşul: Prompt Engineering, Function Calling

BU DERSİN SONUNDA

  • Bir isteğin girdi jetonlarını sabit ve değişken kovalara ayırmak
  • Maliyet ile gecikmeyi ayrı denklemler olarak kurup birlikte değerlendirmek
  • Ucuzlatma kaldıraçlarını bedelleriyle birlikte sıralamak
  • Bütçe sınırlarını ortalama yerine uç değerlere göre belirlemek
  1. 1

    Teori

    Kavramın çalışma mantığı

  2. 2

    Örnek

    Gerçek bir senaryo üzerinde gösterim

  3. 3

    Lab

    Uygulamalı alıştırma

  4. 4

    Test

    Kısa ölçüm

  5. 5

    Proje

    Rotadaki projeye katkı

Kısa cevap

Maliyet ve gecikme aynı değişkenin iki yüzüdür: jeton. Bütçe kurmanın ilk adımı fiyat araştırmak değil, tek bir isteğin jetonlarını kovalara ayırmaktır: sabit önek, araç şemaları, geçmiş ve getirilen içerik, kullanıcı girdisi, üretilen çıktı. Bu döküm çıkmadan yapılan her iyileştirme tahminle yapılır.

Teori: jeton nerede birikir#

Her isteğin değişmeyen bir öneki vardır: sistem istemi, araç şemaları, biçim örnekleri. Bu önek her çağrıda yeniden gönderilir ve yeniden ödenir; tek bir istekte küçük görünen bir ekleme, istek hacmiyle çarpıldığında bütçenin büyük bir kısmını oluşturabilir. Değişken kısım ise kullanıcı girdisi, konuşma geçmişi ve varsa getirilen belgelerdir; çok turlu akışlarda geçmiş her turda yeniden gönderildiği için birikimli büyür.

Gecikme tarafı asimetriktir ve bu asimetri önceki derste ayrılan iki evreden gelir: girdi tek geçişte işlenir, çıktı ardışık üretilir. Bu yüzden çıktıyı kısaltmak toplam süreyi girdiyi kısaltmaktan daha çok etkiler; girdiyi kısaltmak ise esas olarak ilk yanıta kadar geçen süreyi iyileştirir. Hangisini optimize edeceğiniz, kullanıcının neyi beklediğine bağlıdır.

Bütçe denklemi#

python
def girdi_jetonu(sabit_onek, arac_semalari, gecmis, getirilen, kullanici):
    """Bir isteğin girdi tarafındaki jeton kovaları."""
    return sabit_onek + arac_semalari + gecmis + getirilen + kullanici


def istek_maliyeti(girdi, cikti, girdi_birim, cikti_birim):
    """Birim değerler kendi faturanızdan okunur; burada sabit bir sayı yoktur."""
    return girdi * girdi_birim + cikti * cikti_birim


def gunluk_butce(istek_sayisi, ortalama_maliyet):
    return istek_sayisi * ortalama_maliyet

Denklemi kendi sayılarınızla doldurun. Bir örnek üzerinde çalışmak isterseniz varsayımı açıkça yazın: diyelim ki bu akışta sabit önek yaklaşık dokuz yüz jeton, araç şemaları dört yüz jeton ve kullanıcı girdisi ortalama yüz jeton olsun. Bu varsayımla girdi tarafındaki toplam bin dört yüz jetonun bin üç yüzü, yani neredeyse tamamı, kullanıcı hiçbir şey yazmadan önce harcanmış olur. Bu tür bir hesap ancak varsayım olarak etiketlendiğinde anlamlıdır; ölçüm yerine geçmez.

Kaldıraçlar ve bedelleri#

KaldıraçNeyi düşürürBedeli
Azami çıktı jetonunu sınırlamakÇıktı maliyeti ve toplam süreUzun meşru yanıtlar kesilir; sınırı uç değerlere bakarak seçin
Araç şemalarını budamakHer istekteki sabit girdiYetenek kaybı; kaldırdığınız araç gerçekten kullanılmıyor olmalı
Sabit öneki başa toplamakTekrarlanan önek maliyeti (yeniden kullanım mümkün olur)İstem düzeni katılaşır; değişen içerik sona taşınmalı
Geçmişi özetlemekÇok turlu akışta birikimli girdiÖzet kayıplıdır; kimlik, tarih ve tutar ham kalmalı ve özetleme de bir çağrıdır
Küçük modele yönlendirmekSık ve kolay isteklerin maliyetiYükseltme oranı yükselirse iki çağrı tek büyük çağrıdan pahalıya gelir
Toplu işleme almakArka plan işlerinin birim maliyetiGecikme bütçesini bozar; etkileşimli yolda kullanılamaz
Tabloda sayı yok; olması da gerekmez. Her satırın etkisi kendi trafiğinizde ölçülür.

Nasıl karar verilir#

  1. 1Ölç

    Hangi akışın bütçeyi yediğini bulun. İstek sayısı yüksek olan ile istek başına pahalı olan genelde farklı akışlardır.

  2. 2Kovayı bul

    O akışta maliyet sabit önekte mi, geçmişte mi, çıktıda mı birikiyor; en büyük kovaya dokunun.

  3. 3Önce çıktıyı sınırla

    Azami çıktı sınırı ve daha kısa çıktı isteyen bir sözleşme, hem maliyeti hem toplam süreyi aynı anda düşüren en doğrudan kaldıraçtır; girdiyi kısaltmak da ikisini birden düşürür ama süre tarafındaki etkisi esas olarak ilk yanıta kadar geçen kısımdadır.

  4. 4Öneki yeniden kullanılabilir yap

    Değişmeyen içeriği isteğin başına, değişeni sonuna alın; bu düzen tekrarlanan önekin ucuzlamasına imkân verir.

  5. 5Kaliteyi yeniden ölç

    Her kaldıraçtan sonra ölçüm kümesini tekrar koşturun; ucuzlayan ama bozulan bir akış kazanç değildir.

Sık yapılan hata#

En sık hata bütçeyi ortalamaya göre kurmaktır. İstek uzunlukları uzun kuyruklu dağılır: az sayıda çok uzun belge ya da çok turlu konuşma, toplam maliyetin belirgin bir kısmını tek başına üretir. Ortalamaya göre konan bir sınır bu kuyruğu hiç görmez. Ortancayı ve üst yüzdelik dilimi birlikte raporlayın; sınırları üst dilime bakarak koyun.

LAB · UYGULAMALI ALIŞTIRMA

İstek başına jeton muhasebesi çıkarın

  1. 1Uygulamanızda en sık çağrılan üç akışı listeleyin ve her biri için tek bir gerçek isteğin tam gövdesini kaydedin. Üç ayrı akışınız yoksa elinizdeki tek akışla yürüyün; adımların hiçbiri değişmez.
  2. 2Her isteğin girdi jetonlarını beş kovaya ayırın: sabit önek, araç şemaları, geçmiş, getirilen içerik, kullanıcı girdisi. Çıktı jetonunu ayrı bir sütuna yazın.
  3. 3Aynı akışın elinizdeki en az yirmi isteğinin çıktı jetonlarını sıralayın; kayıtlı isteğiniz yoksa aynı akışı yirmi girdiyle koşturup üretin. Ortancayı ve en uzun birkaç yanıtı işaretleyip aradaki farkı not edin.
  4. 4Sabit öneki isteğin en başına toplayın, değişken içeriği sona taşıyın ve yeniden kullanılabilir önekin jeton uzunluğunu ölçün.
  5. 5Azami çıktı sınırını ortancanın hemen üstüne çekip yirmi örneği yeniden koşturun; kaç yanıtın kesildiğini ve kesilenlerin gerçekten uzun olması gerekip gerekmediğini işaretleyin.
  6. 6Üç akış için kaldıraç tablosunu doldurun: uygulanan kaldıraç, beklenen etki, ölçülen etki, kalite üzerindeki gözlenen sonuç.

Beklenen çıktı

Üç akış için jeton kovaları, ortanca ve uç çıktı uzunlukları ve uygulanan kaldıraçların ölçülen etkisini gösteren bir bütçe tablosu.

Sık sorulan sorular

Girdi mi çıktı mı daha pahalı?

Birim fiyatı kendi faturanızdan iki ayrı sütun olarak çıkarın; sağlayıcıya ve modele göre değişir. Değişmeyen şey mekanizmadır: çıktı ardışık üretildiği için toplam süreyi domine eder, girdi ise tek geçişte işlendiği için esas olarak ilk yanıta kadar geçen süreyi etkiler.

Geçmişi özetlemek güvenli mi?

Özetleme kayıplı bir işlemdir ve neyi kaybettiğinizi seçmek size aittir. Kimlik, tarih, tutar ve karar gibi alanları özetin dışında ham tutun; anlatıyı sıkıştırın. Ayrıca özetleme de bir model çağrısıdır: maliyetini bütçeye eklemeyi unutmayın.

Küçük modele yönlendirme ne zaman kazandırır?

Kazanç, kaç isteğin küçük modelde bitip kaçının büyüğe yükseldiğine bağlıdır. Yükseltme oranı yükseldikçe iki çağrı tek büyük çağrıdan pahalıya gelir. Bu yüzden yönlendirmeyi kurmadan önce yükseltme ölçütünü (şema ihlali, dayanak bulunamaması, düşük güven) ve o ölçütün ne sıklıkta tetiklendiğini ölçün.

LEARN

LLM Uygulama Geliştirici rotasına devam et

Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.