Akıl Yürütme Bütçesi Deneyi

Soru#

Düşünme bütçesini artırmak her görevde işe yaramaz; bazı işlerde ek adım yalnızca gecikme ve ücret üretir. Soru, bu ayrımın nasıl ölçüleceğidir: bütçe kademeli olarak yükseltildiğinde doğruluk kazancı hangi noktada düzleşir ve hangi görev türünde daha erken düzleşir? Bir yan soru da ters etkinin varlığıdır: fazla bütçe, önceden doğru olan cevabı bozuyor mu?

Düzen#

Aynı görev kümesi, düşünme bütçesinin kademeli olarak artırıldığı koşullarla tekrar koşulur; en alt kademe, gerekçe istenmeyen doğrudan cevap koşuludur. Görevler zorluğa göre değil türe göre gruplanır — sayısal işlem, çok adımlı çıkarım, biçim kısıtlı üretim, olgu geri getirme — çünkü doyum noktasının türle değiştiği varsayılır. Her koşu birden çok kez tekrarlanır ve dağılım kaydedilir; tek koşu, örneklemenin gürültüsünü bütçe etkisi sanmaya yol açar.

• Değişken: düşünme bütçesi, en az dört kademe; alt uçta gerekçesiz koşul bulunur.
• Gruplama: görev türü — sayısal işlem, çok adımlı çıkarım, biçim kısıtlı üretim, olgu geri getirme.
• Sabitler: model, istem şablonu, örnekleme ayarları, değerlendirme yöntemi.
• Tekrar: her görev-kademe çifti için birden çok koşu; ortalama değil dağılım raporlanır.
• Yan kayıt: kademe başına gecikme ve tüketilen belirteç sayısı, doğrulukla aynı tabloda tutulur.

Ölçüt#

Doğruluk tek başına yetmez; bütçe kararı kazançla maliyetin birlikte okunmasıyla verilir. Bu nedenle her kademe için doğruluk, kademe başına ek maliyet ve kararlılık yan yana raporlanır. Ayrıca bozulma ayrı bir ölçüt olarak tutulur: alt kademede doğruyken üst kademede yanlışa dönen görevler tek tek sayılır.

Kademelerin koşulma sırası#

1. 1Taban koşusunu al

   Gerekçe istenmeyen doğrudan cevap koşulu ölçülür; sonraki her kademe bu tabana göre okunur.

2. 2Kademeleri tek değişkenle yükselt

   Yalnızca bütçe artırılır; istem şablonu, biçim yönergesi ve örnekleme ayarları dokunulmaz bırakılır.

3. 3Görev türü kırılımında raporla

   Her kademe için doğruluk, bozulma ve maliyet görev türü bazında yazılır; toplam tablo yalnızca ek olarak verilir.

4. 4Düzleşme noktasını işaretle

   Sınır kazancı, tekrarlar arasındaki dağılımın genişliğinin içinde kalmaya başladığında o kademe, ilgili görev türü için doyum adayı sayılır.

Beklenen kırılma noktaları#

• Olgu geri getirme görevlerinde doyumun erken gelmesi, çok adımlı çıkarımda daha geç gelmesi beklenir.
• Biçim kısıtlı üretimde uzun gerekçenin biçim kurallarını gölgelemesi ve bozulma sayısını artırması beklenir.
• Tabanda zaten doğru çözülen görevlerde ek bütçe kazanç üretmeyebilir; buna karşılık kararsızlığı artırması öngörülür.
• Sayısal işlemde kazancın ara adımların doğruluğuna bağlı olması, dolayısıyla eğrinin basamaklı görünmesi beklenir.
• Bütçe üst sınıra yaklaştığında cevabın kesilmesinden doğan hatalar doğruluk hatasıyla karışabilir; iki hata ayrı sayılmazsa eğri yanlış okunur.

Sınırlılıklar#

Düşünme bütçesi sağlayıcıdan sağlayıcıya farklı adlandırılır ve farklı davranır; kademeler bu yüzden mutlak değil, hattın kendi içinde göreli tanımlanır. Görev kümesi küçük kaldığında sınır kazancı tek tek görevlerin gürültüsünden ayrıştırılamaz, bu nedenle küme büyütülmeden doyum noktası yalnızca aday olarak kaydedilir. Model sürümü ya da bütçe arayüzü değiştiğinde taban koşusu dahil her kademe yeniden ölçülür.