Maliyet ve gecikme bütçesi kurmak
İstek başına jetonu kovalarına ayırarak bir bütçe denklemi kurmayı, hangi kaldıracın neyi düşürüp neyi bozduğunu ve gecikme ile maliyet arasındaki ödünleşimi değerlendirmeyi öğretir.
Önkoşul: Prompt Engineering, Function Calling
BU DERSİN SONUNDA
- Bir isteğin girdi jetonlarını sabit ve değişken kovalara ayırmak
- Maliyet ile gecikmeyi ayrı denklemler olarak kurup birlikte değerlendirmek
- Ucuzlatma kaldıraçlarını bedelleriyle birlikte sıralamak
- Bütçe sınırlarını ortalama yerine uç değerlere göre belirlemek
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Maliyet ve gecikme aynı değişkenin iki yüzüdür: jeton. Bütçe kurmanın ilk adımı fiyat araştırmak değil, tek bir isteğin jetonlarını kovalara ayırmaktır: sabit önek, araç şemaları, geçmiş ve getirilen içerik, kullanıcı girdisi, üretilen çıktı. Bu döküm çıkmadan yapılan her iyileştirme tahminle yapılır.
Teori: jeton nerede birikir#
Her isteğin değişmeyen bir öneki vardır: sistem istemi, araç şemaları, biçim örnekleri. Bu önek her çağrıda yeniden gönderilir ve yeniden ödenir; tek bir istekte küçük görünen bir ekleme, istek hacmiyle çarpıldığında bütçenin büyük bir kısmını oluşturabilir. Değişken kısım ise kullanıcı girdisi, konuşma geçmişi ve varsa getirilen belgelerdir; çok turlu akışlarda geçmiş her turda yeniden gönderildiği için birikimli büyür.
Gecikme tarafı asimetriktir ve bu asimetri önceki derste ayrılan iki evreden gelir: girdi tek geçişte işlenir, çıktı ardışık üretilir. Bu yüzden çıktıyı kısaltmak toplam süreyi girdiyi kısaltmaktan daha çok etkiler; girdiyi kısaltmak ise esas olarak ilk yanıta kadar geçen süreyi iyileştirir. Hangisini optimize edeceğiniz, kullanıcının neyi beklediğine bağlıdır.
Bütçe denklemi#
def girdi_jetonu(sabit_onek, arac_semalari, gecmis, getirilen, kullanici):
"""Bir isteğin girdi tarafındaki jeton kovaları."""
return sabit_onek + arac_semalari + gecmis + getirilen + kullanici
def istek_maliyeti(girdi, cikti, girdi_birim, cikti_birim):
"""Birim değerler kendi faturanızdan okunur; burada sabit bir sayı yoktur."""
return girdi * girdi_birim + cikti * cikti_birim
def gunluk_butce(istek_sayisi, ortalama_maliyet):
return istek_sayisi * ortalama_maliyetDenklemi kendi sayılarınızla doldurun. Bir örnek üzerinde çalışmak isterseniz varsayımı açıkça yazın: diyelim ki bu akışta sabit önek yaklaşık dokuz yüz jeton, araç şemaları dört yüz jeton ve kullanıcı girdisi ortalama yüz jeton olsun. Bu varsayımla girdi tarafındaki toplam bin dört yüz jetonun bin üç yüzü, yani neredeyse tamamı, kullanıcı hiçbir şey yazmadan önce harcanmış olur. Bu tür bir hesap ancak varsayım olarak etiketlendiğinde anlamlıdır; ölçüm yerine geçmez.
Kaldıraçlar ve bedelleri#
| Kaldıraç | Neyi düşürür | Bedeli |
|---|---|---|
| Azami çıktı jetonunu sınırlamak | Çıktı maliyeti ve toplam süre | Uzun meşru yanıtlar kesilir; sınırı uç değerlere bakarak seçin |
| Araç şemalarını budamak | Her istekteki sabit girdi | Yetenek kaybı; kaldırdığınız araç gerçekten kullanılmıyor olmalı |
| Sabit öneki başa toplamak | Tekrarlanan önek maliyeti (yeniden kullanım mümkün olur) | İstem düzeni katılaşır; değişen içerik sona taşınmalı |
| Geçmişi özetlemek | Çok turlu akışta birikimli girdi | Özet kayıplıdır; kimlik, tarih ve tutar ham kalmalı ve özetleme de bir çağrıdır |
| Küçük modele yönlendirmek | Sık ve kolay isteklerin maliyeti | Yükseltme oranı yükselirse iki çağrı tek büyük çağrıdan pahalıya gelir |
| Toplu işleme almak | Arka plan işlerinin birim maliyeti | Gecikme bütçesini bozar; etkileşimli yolda kullanılamaz |
Nasıl karar verilir#
- 1Ölç
Hangi akışın bütçeyi yediğini bulun. İstek sayısı yüksek olan ile istek başına pahalı olan genelde farklı akışlardır.
- 2Kovayı bul
O akışta maliyet sabit önekte mi, geçmişte mi, çıktıda mı birikiyor; en büyük kovaya dokunun.
- 3Önce çıktıyı sınırla
Azami çıktı sınırı ve daha kısa çıktı isteyen bir sözleşme, hem maliyeti hem toplam süreyi aynı anda düşüren en doğrudan kaldıraçtır; girdiyi kısaltmak da ikisini birden düşürür ama süre tarafındaki etkisi esas olarak ilk yanıta kadar geçen kısımdadır.
- 4Öneki yeniden kullanılabilir yap
Değişmeyen içeriği isteğin başına, değişeni sonuna alın; bu düzen tekrarlanan önekin ucuzlamasına imkân verir.
- 5Kaliteyi yeniden ölç
Her kaldıraçtan sonra ölçüm kümesini tekrar koşturun; ucuzlayan ama bozulan bir akış kazanç değildir.
Sık yapılan hata#
En sık hata bütçeyi ortalamaya göre kurmaktır. İstek uzunlukları uzun kuyruklu dağılır: az sayıda çok uzun belge ya da çok turlu konuşma, toplam maliyetin belirgin bir kısmını tek başına üretir. Ortalamaya göre konan bir sınır bu kuyruğu hiç görmez. Ortancayı ve üst yüzdelik dilimi birlikte raporlayın; sınırları üst dilime bakarak koyun.
LAB · UYGULAMALI ALIŞTIRMA
İstek başına jeton muhasebesi çıkarın
- 1Uygulamanızda en sık çağrılan üç akışı listeleyin ve her biri için tek bir gerçek isteğin tam gövdesini kaydedin. Üç ayrı akışınız yoksa elinizdeki tek akışla yürüyün; adımların hiçbiri değişmez.
- 2Her isteğin girdi jetonlarını beş kovaya ayırın: sabit önek, araç şemaları, geçmiş, getirilen içerik, kullanıcı girdisi. Çıktı jetonunu ayrı bir sütuna yazın.
- 3Aynı akışın elinizdeki en az yirmi isteğinin çıktı jetonlarını sıralayın; kayıtlı isteğiniz yoksa aynı akışı yirmi girdiyle koşturup üretin. Ortancayı ve en uzun birkaç yanıtı işaretleyip aradaki farkı not edin.
- 4Sabit öneki isteğin en başına toplayın, değişken içeriği sona taşıyın ve yeniden kullanılabilir önekin jeton uzunluğunu ölçün.
- 5Azami çıktı sınırını ortancanın hemen üstüne çekip yirmi örneği yeniden koşturun; kaç yanıtın kesildiğini ve kesilenlerin gerçekten uzun olması gerekip gerekmediğini işaretleyin.
- 6Üç akış için kaldıraç tablosunu doldurun: uygulanan kaldıraç, beklenen etki, ölçülen etki, kalite üzerindeki gözlenen sonuç.
Beklenen çıktı
Üç akış için jeton kovaları, ortanca ve uç çıktı uzunlukları ve uygulanan kaldıraçların ölçülen etkisini gösteren bir bütçe tablosu.
Sık sorulan sorular
Girdi mi çıktı mı daha pahalı?
Birim fiyatı kendi faturanızdan iki ayrı sütun olarak çıkarın; sağlayıcıya ve modele göre değişir. Değişmeyen şey mekanizmadır: çıktı ardışık üretildiği için toplam süreyi domine eder, girdi ise tek geçişte işlendiği için esas olarak ilk yanıta kadar geçen süreyi etkiler.
Geçmişi özetlemek güvenli mi?
Özetleme kayıplı bir işlemdir ve neyi kaybettiğinizi seçmek size aittir. Kimlik, tarih, tutar ve karar gibi alanları özetin dışında ham tutun; anlatıyı sıkıştırın. Ayrıca özetleme de bir model çağrısıdır: maliyetini bütçeye eklemeyi unutmayın.
Küçük modele yönlendirme ne zaman kazandırır?
Kazanç, kaç isteğin küçük modelde bitip kaçının büyüğe yükseldiğine bağlıdır. Yükseltme oranı yükseldikçe iki çağrı tek büyük çağrıdan pahalıya gelir. Bu yüzden yönlendirmeyi kurmadan önce yükseltme ölçütünü (şema ihlali, dayanak bulunamaması, düşük güven) ve o ölçütün ne sıklıkta tetiklendiğini ölçün.
LEARN
LLM Uygulama Geliştirici rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.
