Adım bütçesi ve gecikme yönetimi

Teori: aynı metni kaç kez gönderiyorsunuz#

Model çağrıları durum tutmaz. Her adımda sistem istemi, araç şemaları ve o ana kadarki bütün ara adımlar baştan gönderilir. Dolayısıyla onuncu adımın girdisi birinci adımın girdisinden çok büyüktür ve fatura, son izin boyutu değil bütün adımların girdilerinin toplamıdır. Maliyet tartışmasının çoğu bu ayrımı atladığı için sonuçsuz kalır.

Varsayalım: sabit önek (sistem istemi ve araç şemaları) 2.000 token, her adım ize ortalama 500 token ekliyor. Onuncu adımın girdisi 2.000 + 9 × 500 = 6.500 token. Ama on adımın girdi toplamı 10 × 2.000 + 500 × (0 + 1 + … + 9) = 20.000 + 22.500 = 42.500 token; yani son izin yaklaşık altı buçuk katı. Bu sayılar bir ölçüm değil, yukarıdaki iki varsayımdan çıkan aritmetik; kendi önek ve adım büyüklüğünüzü yerine koyup tekrar hesaplayın.

Gecikme ayrı bir eksendir. Token maliyeti toplanır, gecikme ise zorunlu sıralı zincirin uzunluğuna bağlıdır. Bağımsız iki araç çağrısı paralel koşabilir; bir sonraki kararı besleyen çağrı koşamaz. Bu yüzden gecikmenin bir tabanı vardır ve o taban adım sayısıdır: daha hızlı bir kurulum bu tabanı kaldırmaz, yalnızca her adımı biraz kısaltır.

Uygulamada: belirtiden kaldıraca#

Bütçeyi kodda zorlamak#

İsteme "gereksiz araç çağırma" yazmak bütçe değil, ricadır. Bütçe döngüyü yürüten kodda durur: adım sınırı, token sınırı, süre sınırı ve sınıra gelindiğinde ne yapılacağı. Sınıra çarpan koşu sessizce kesilmemeli; kısmi sonucu ve nedenini taşıyan ayrı bir durumla bitmeli. Değerlendirmenin ve kullanıcının "bütçe doldu" ile "yapamadı" ayrımına ihtiyacı var.

def dongu_calistir(gorev, arac_kosucu, sinirlar):
    """Adim, token ve sure sinirlarini dongunun kendisinde zorlar."""
    adim = 0
    token_toplam = 0
    baslangic = simdi()
    iz = []

    while True:
        adim += 1
        if adim > sinirlar['azami_adim']:
            return sonuc('butce-adim', iz)
        if token_toplam > sinirlar['azami_token']:
            return sonuc('butce-token', iz)
        if simdi() - baslangic > sinirlar['azami_sure']:
            return sonuc('butce-sure', iz)

        karar = model_cagir(gorev, iz)
        token_toplam += karar.girdi_token + karar.cikti_token

        if karar.bitti:
            return sonuc('tamam', iz)

        cikti, atilan = kirp(
            arac_kosucu(karar.arac, karar.argumanlar),
            sinirlar['azami_arac_yaniti'],
        )
        iz.append({'karar': karar, 'cikti': cikti, 'kirpilan_alanlar': atilan})

Karar: hangi kaldıracı önce çekmeli#

1. 1Birimi düzelt

   Maliyeti tamamlanmış görev başına token, süre ve para olarak ölçün. Başarısız koşuların maliyeti bölene değil paya yazılır; yoksa ucuz görünen kurulum aslında pahalıdır.

2. 2Dağılımı çıkar

   Toplam girdi tokeninin ne kadarı sabit önek, ne kadarı araç yanıtları, ne kadarı model üretimi? En büyük dilim hangi kaldıraca bakacağınızı söyler.

3. 3Tek kaldıraç çek

   Bir değişiklik uygulayın, görev setini tekrar koşturun ve tamamlama oranının düşüp düşmediğine bakın.

4. 4Kabul et ya da geri al

   Birim maliyet düştü ama tamamlama da düştüyse kazanç yoktur. Kararı iki sayıyı birlikte yazarak verin.

Sık yapılan hata#

En yaygın hata ucuz kurulumu ucuz sanmak: daha küçük bir kurulum adım başına az öder ama görevi tamamlayamaz, tekrar denenir ve insan müdahalesi üretir; tamamlanmış görev başına toplam maliyet artabilir. İkinci hata ortalama gecikmeye bakmak. Kullanıcı deneyimini belirleyen, yavaş koşuların ne kadar yavaş olduğudur; ortalama bunu saklar, o yüzden rapora en yavaş dilim de yazılır.