Akıl yürütme bütçesi her göreve gerekmez; çoğu görevde zarar veriyor

Tez#

Akıl yürütme bütçesi, kullanıma açıldığından beri bir kalite düğmesi gibi ele alınıyor: çıktı yetersizse bütçeyi artır, hâlâ yetersizse daha da artır. Bu alışkanlık anlaşılır çünkü bazı görevlerde gerçekten çalışıyor ve etkisi çarpıcı olabiliyor.

Ama etkisi görev tipine göre keskin biçimde değişiyor. Akıl yürütme, modelin ara adımlar üretip kendi çıktısını kontrol etmesine izin vermek demek. Bu, çözümün birden fazla adımdan geçtiği ve ara sonuçların doğrulanabildiği görevlerde işe yarıyor. Çözümün tek adımda bulunduğu, doğru cevabın ya bilindiği ya bilinmediği görevlerde ise yapacak bir ara adım yok — model yine ara adımlar üretiyor ama bunlar çıkarım değil, gerekçelendirme. Ve gerekçelendirme, yanlış bir cevabı daha ikna edici hâle getirebiliyor.

Bağlam: görev tipine göre beklenen etki#

Aşağıdaki tablo, akıl yürütme bütçesinin hangi görev sınıfında ne yönde etki ettiğini ayırıyor. Kolonlardaki yön, kendi görevinizde ölçülmesi gereken hipotez — hazır bir sonuç değil.

Altıncı satır özel bir dikkat gerektiriyor. Yaratıcı görevlerde akıl yürütme bazen metni iyileştiriyor, bazen fark ettirmeden bozuyor: model uzun bir plan yapıyor ve sonra planına sadık kalarak mekanik bir metin üretiyor. Bu, ölçülmesi zor bir kayıp çünkü çıktı yanlış değil, sadece daha sıkıcı. Otomatik ölçütler bunu yakalamıyor.

Kanıt: bütçe kararı nasıl verilir#

Karar bir tahminle değil küçük bir deneyle verilmeli. Aşağıdaki adımlar, tek bir görev için bütçe kararını bir günde kapatıyor.

1. 01Görevi sınıflandırın: çözüm birden fazla adımdan mı geçiyor, ara sonuçlar doğrulanabiliyor mu? İkisi de hayırsa bütçe açmayın.
2. 02Üç ayarla ölçün: bütçe kapalı, orta ve yüksek. Tek bir ayarla yapılan karşılaştırma yön göstermez.
3. 03Aynı değerlendirme setiyle ölçün: bütçe kararı kalite kararı, dolayısıyla kalite ölçütünüz neyse onunla ölçülmeli.
4. 04Gecikme ve maliyeti aynı tabloya yazın: doğrulukta yüzde bir kazanç, gecikmede üç kat artışa değmeyebilir.
5. 05Kuyruğa bakın: akıl yürütme en çok kuyruk gecikmesini büyütüyor; ortalama bu etkiyi gizliyor.
6. 06Alt kümelerde ayrı ölçün: bütçe kolay örneklerde etkisiz, zor örneklerde belirleyici olabilir. Ortalama ikisini karıştırıyor.

Altıncı madde en yararlı ve en az uygulanan. Bütçenin etkisi genellikle homojen değil: örneklerin küçük bir bölümünde büyük kazanç, geri kalanında sıfır. Bu durumda doğru çözüm bütçeyi herkese açmak değil, zor örnekleri ayırıp yalnızca onlara açmak. Zorluk sınıflandırması basit bir sinyalle yapılabiliyor — girdi uzunluğu, kısıt sayısı, modelin ilk denemesindeki kararsızlık.

Mekanizma: gerekçelendirme ile çıkarım farkı#

Akıl yürütmenin neden bazı görevlerde işe yaramadığını anlamak için iki şeyi ayırmak gerekiyor: çıkarım ve gerekçelendirme. Çıkarım, bilinmeyen bir sonuca adımlarla varmak. Gerekçelendirme, varılmış bir sonucu gerekçelerle desteklemek.

Bir olgu sorusunda model cevabı ya biliyor ya bilmiyor; ara adım üretmesi cevabı değiştirmiyor, yalnızca çevresini dolduruyor. Cevap yanlışsa ortaya çıkan şey, yanlış cevabın ayrıntılı bir savunması — yani halüsinasyonun daha ikna edici bir biçimi. Bu, akıl yürütmenin bazı ölçümlerde doğruluğu düşürmesinin makul bir açıklaması: model, ilk sezgisiyle doğru cevaba yakınken uzun bir gerekçe zincirinde kendi kendini yanlışa ikna ediyor. Sınıflandırma görevlerinde de benzer bir şey oluyor: uzun gerekçe, sınıra yakın örnekleri yanlış tarafa itebiliyor çünkü model kararını gerekçesine uyduruyor.

Karşı görüş#

İki itiraz var. Birincisi: görev sınıflandırması pratikte zor — gerçek istekler tek sınıfa girmiyor, bir kullanıcı mesajı hem olgu sorusu hem planlama isteği içerebiliyor. İkincisi: bütçeyi açık bırakmak güvenli varsayılan; kapalı bırakıp zor bir görevi kaçırmak daha pahalı.

Bütçeyi her isteğe açtık, kalite panosunda hiçbir şey değişmedi ama fatura iki katına çıktı. Sonra istekleri ayırdık: yüzde on beşi gerçekten çok adımlıydı. Bütçeyi sadece onlara açtık.

Birinci itiraz gerçek bir zorluk ve çözümü sınıflandırmayı bırakmak değil, yönlendirmeyi akışın içine koymak: hafif bir ilk geçişle isteğin tipi belirlenip bütçe ona göre ayarlanabiliyor. Bu yönlendirme kusurlu olacak ama kusurlu yönlendirme, hiç yönlendirmemekten iyi. İkinci itiraz maliyet tarafını atlıyor: bütçeyi her isteğe açmak yalnızca para değil gecikme harcıyor ve gecikme kullanıcı deneyiminin doğrudan bileşeni. Ayrıca "güvenli varsayılan" varsayımı bilgi getirme ve sınıflandırma görevlerinde doğru değil — orada bütçe açmak nötr değil, doğruluğu düşürebiliyor.

Sınırlar ve belirsizlik#

Tablodaki yönler hipotez, ölçüm değil; ve modeller arasında farklılaşıyor.

• Model bağımlı: aynı görev sınıfında farklı modeller farklı tepki veriyor; tablo kendi modelinizde sınanmalı.
• Sürüm bağımlı: sağlayıcı bir sürüm çıkardığında bütçenin etkisi değişebiliyor; karar tek seferlik değil.
• Yaratıcı görevlerde ölçüm zayıf: metnin mekanikleşmesi otomatik ölçütlerle yakalanmıyor, insan değerlendirmesi gerekiyor.
• Alt küme etkisi ölçülmedikçe karar yanlış: bütçe az sayıda zor örnekte büyük kazanç üretiyorsa ortalama bunu gizliyor.

Sonuç#

Akıl yürütme bütçesi bir kalite düğmesi değil, bir görev eşleştirme kararı. Çok adımlı çıkarım ve kısıt çözümlemede kazanç üretiyor; bilgi getirme, biçimlendirme ve sınıflandırmada gecikme ve maliyet harcarken doğruluğu değiştirmiyor, sınıra yakın örneklerde düşürebiliyor.

Pratik yol bütçeyi açık ya da kapalı bırakmak değil, yönlendirmek: isteklerin tipini belirleyip bütçeyi hak eden kümeye açmak. Bu, hem faturayı hem gecikmeyi kontrol altında tutuyor hem de bütçenin gerçekten işe yaradığı yerde tam etkisini almayı sağlıyor. Ve her karar, sürüm değiştiğinde yeniden sınanmalı — bu bir kere verilip kapatılan bir karar değil.

Ne yapmalı?#

1. 1Görevi iki soruyla sınayın

   Çözüm birden fazla adımdan geçiyor mu? Ara sonuçlar doğrulanabiliyor mu? İkisi de hayırsa bütçe açmayın.

2. 2Üç ayarla ölçün

   Kapalı, orta, yüksek. Aynı değerlendirme setiyle ve aynı ölçütle.

3. 3Doğruluk, gecikme ve maliyeti tek tabloya yazın

   Yüzde bir doğruluk kazancı üç kat gecikmeye değmeyebilir; karar üç sayıyla verilir.

4. 4Alt kümelerde ayrı bakın

   Kazanç az sayıda zor örnekte toplanıyorsa bütçeyi herkese açmak israf.

5. 5Yönlendirme kurun

   Hafif bir ilk geçişle istek tipini belirleyip bütçeyi ona göre ayarlayın. Kusurlu yönlendirme, yönlendirmemekten iyi.

6. 6Sürüm değişiminde yeniden ölçün

   Bütçenin etkisi model sürümüne bağlı; karar kalıcı değil.