Akıl yürütme bütçesini ayarlamak

Bütçe kararı tek bir sayı değil, bir eşleme tablosudur. Aynı üründe gelen istekler aynı düşünme miktarını hak etmiyor: bir alan doldurma isteğiyle çok adımlı bir kök neden analizi aynı kademede koşturulduğunda ya birincisi gereksiz pahalı ya ikincisi yetersiz oluyor. Bu yüzden ilk iş, gerçek trafiği sınıflara ayırmak.

Doğrulama adımı: iki kişi aynı 50 isteği birbirinden bağımsız etiketlesin. Uyuşmazlık oranı yüksekse sorun sınıf tanımlarında değil ürünün kendisinde olabilir; bütçe ayarına geçmeden önce o belirsizliği çözün.

Süpürmenin tek anlamı, değişen tek şeyin bütçe olmasıdır. Küme koşum aralarında büyür veya düzeltilirse çıkan eğri bütçeyi değil kümenin kendisini ölçer ve karar dayanaksız kalır.

• Her sınıf için ayrı alt küme tutun; tek bir ortalama sınıflar arasındaki farkı siler.
• Doğru cevabı ikili bir etiket yerine kabul ölçütüyle yazın: hangi iddia bulunmalı, hangisi bulunmamalı.
• Kümenin içine kasten kolay sorular koyun; aşırı düşünme davranışı yalnızca orada görünür.
• Kümeyi sürüm kontrolüne alın ve her koşum kaydına kümenin sürüm etiketini yazın.

Süpürme, her kademeyi aynı istemle, aynı örnekleme ayarlarıyla ve yeterli tekrarla koşturmaktır. Tek koşum gürültüyü ölçemez: iki kademe arasında gördüğünüz küçük farkın anlamlı mı rastlantı mı olduğunu ancak tekrarların dağılımı söyler.

KADEMELER = ['kapali', 'dusuk', 'orta', 'yuksek']


def supur(kume, kademeler=KADEMELER, tekrar=3):
    kayit = []
    for kademe in kademeler:
        for soru in kume:
            for deneme in range(tekrar):
                cevap, olcum = calistir(soru, akil_yurutme=kademe)
                kayit.append({
                    'kademe': kademe,
                    'soru': soru['kimlik'],
                    'sinif': soru['sinif'],
                    'deneme': deneme,
                    'dogru': degerlendir(cevap, soru),
                    'gecikme_ms': olcum.gecikme_ms,
                    'cikti_token': olcum.cikti_token,
                    'bitis_nedeni': olcum.bitis_nedeni,
                })
    return kayit

Kayıtta sınıf ve bitiş nedeni alanlarının bulunması kritik. Sınıf alanı eğriyi sonradan sınıf bazında ayırmanızı sağlar; bitiş nedeni ise cevabın bütçe tükendiği için mi kesildiğini gösterir. İkisini de baştan yazmazsanız süpürmeyi ikinci kez koşturmak zorunda kalırsınız.

Eğri tipik olarak üç bölgeye ayrılır: bütçenin yetmediği dik yükseliş, kazancın hızla azaldığı diz ve ölçülebilir kazanç üretmeyen düzlük. Üretim bütçesi dizdedir. Düzlüğe girmek doğruluk değil yalnızca gecikme ve token satın alır.

Daha uzun düşünmek her görevde daha doğru değildir. Kısa cevaplı ve tek adımlı işlerde zincir uzadıkça model kendi doğru ara sonucunu sorgulayıp değiştirebiliyor. Bu davranışı toplam ortalamada görmek mümkün değil, çünkü zor sınıflardaki kazanç onu örtüyor.

• Kademe yükselirken doğru cevaptan yanlış cevaba dönen soruları ayrı bir listede toplayın.
• Bu soruların sınıf dağılımına bakın; çoğu tek adımlı sınıftaysa yönlendirici kuralının yazılacağı yer orasıdır.
• Birkaç örnekte düşünme izini elle okuyun; sapma kalıbı genellikle kendini tekrar eder.
• Listeyi silmeyin; yönlendirici kuralını yazdıktan sonra bu küme regresyon testiniz olacak.

Bulduğunuz kalıp çoğu zaman şudur: model tek kaynaklı bir soruda ek olasılıkları düşünmeye başlıyor ve bağlamda olmayan bir istisnayı cevaba katıyor. Çözüm bütçeyi tümden kapatmak değil, o sınıfı düşük kademeye yönlendirmek.

Yönlendirici, isteği sınıfa eşleyip bütçeyi ona göre seçen ince bir katmandır. En dayanıklı kurulum varsayılanı en düşük kademede tutup yükseltmeyi açık bir koşula bağlamaktır: tanınmayan bir istek pahalı kademeye değil ucuz kademeye düşsün.

1. 1İsteği sınıflandır

   Kural tabanlı bir eşleşme veya küçük bir sınıflandırıcı yeterli olur; sınıf bilinmiyorsa varsayılan sınıf uygulanır.

2. 2Bütçe kademesini seç

   Sınıf-kademe eşlemesi yapılandırmadan okunur, koda gömülmez; değişiklik gözden geçirmeye tabidir.

3. 3Koş ve ölç

   Seçilen kademe, gecikme, çıktı token sayısı ve bitiş nedeni her istek için iz kaydına yazılır.

4. 4Gerekirse bir kez yükselt

   Cevap kabul ölçütünü karşılamıyorsa bir üst kademeyle tek bir yeniden deneme yapılır; hak sayısı sabittir.

Bütçe bir üst sınırdır, hedef değil; model çoğu istekte sınırın altında bitirir. Ama bitiremediğinde ne olacağı bir ürün kararıdır ve önceden yazılmalıdır. Yarım kalan bir düşünme sürecinden gelen cevap, kendinden emin görünen eksik bir cevaptır.

1. 01Cevabın bütçe tükendiği için mi bittiğini uç nokta yanıtındaki bitiş nedeninden okuyun.
2. 02Bu durumda ya bir üst kademeyle bir kez yeniden deneyin ya da kullanıcıya kısmi cevap yerine açık bir yetersizlik bildirin.
3. 03Kesilme oranını ayrı bir metrik olarak izleyin; sessizce artması bütçenin artık yetmediğinin ilk işaretidir.
4. 04Kesilen isteklerin sınıf dağılımını saklayın; genellikle tek bir sınıf sorumludur.

Ara düşünme metnini kullanıcıya olduğu gibi göstermeyi bir ürün sözleşmesi hâline getirmeyin. Bu metnin biçimi, ayrıntı düzeyi ve hatta erişilebilirliği sürümle değişebiliyor; arayüz ona bağlandığında model yükseltmesi ürün kırılmasına dönüşür.

Bütçe kararı modele bağlı bir kalibrasyondur, evrensel bir ayar değil. Model sürümü, sistem istemi veya kullanılabilir araç kümesi değiştiğinde doyum noktası kayar. Eski bütçeyle devam etmek ya sessiz bir kalite kaybı ya da gereksiz bir maliyet üretir; ikisi de aylarca fark edilmeyebilir.

• Süpürmeyi model sürümü değişiminde otomatik tetikleyin; elle hatırlanması gereken işler unutuluyor.
• Kısaltılmış bir süpürme (her sınıftan az sayıda soru, iki komşu kademe) günlük kapı için yeterli.
• Tam süpürmeyi sürüm yükseltmelerine ve çeyreklik gözden geçirmeye saklayın.
• Önceki eğrileri saklayın; kaymanın yönü tek bir ölçümden daha bilgilendirici.

Yapılandırmayı tek bir yerde tutun ve değişikliği gözden geçirmeye tabi kılın. Bütçe parametresi çağrı yerlerine dağıldığında hangi isteğin hangi kademede koştuğu artık bilinemez; o noktadan sonra ölçüm yapılamaz, yalnızca tahmin yürütülür.