Kalibre edilmemiş model yargıç, yanlılığı ölçeklendirir

Tez#

Üretken sistemlerin değerlendirilmesi bir ölçüm sorunuyla başlıyor: doğru cevabın tek bir biçimi olmadığında, kesin eşleşme çalışmaz. Bu boşluğu model yargıç doldurdu — bir dil modeline değerlendirme ölçütleri verilip çıktıları puanlaması istendi. Yaklaşım ölçeklenebilir, hızlı ve ucuz. Bu üçü de gerçek avantaj.

Sorun, yaklaşımın sessiz bir varsayım taşıması: yargıcın kararlarının insan değerlendirmesiyle örtüştüğü varsayımı. Bu varsayım doğrulanmadığında elde edilen şey bir ölçüm değil, bir modelin başka bir model hakkındaki tercihidir. Tercih tutarlı olabilir — aynı çıktıya her seferinde aynı puanı verebilir — ama tutarlılık doğruluk değildir. Sistematik biçimde yanlış olan bir ölçüm de tutarlıdır.

Bağlam: bilinen yanlılıklar#

Model yargıçlarda tekrar eden yanlılıklar var ve bunlar rastgele değil; hepsi eğitim dinamiklerinden türeyen öngörülebilir eğilimler. Aşağıdaki tablo, en sık gözlenenleri ve nasıl tespit edileceğini gösteriyor.

Tablonun en sinsi satırı dördüncüsü. Ton yanlılığı, üretken sistemlerin en önemli kalite boyutunu tersine çeviriyor: bir model "bundan emin değilim" dediğinde doğru davranmış olur, ama yargıç bu cevabı çekingen bulup düşük puanlarsa sistem belirsizliği ifade etmemeye doğru optimize edilir. Yani kalibre edilmemiş bir yargıç, halüsinasyonu ödüllendiren bir ödül sinyali hâline gelebilir.

Kanıt: kalibrasyon nasıl yapılır#

Kalibrasyon soyut bir kavram değil; ölçülebilir bir prosedür. Ve pahalı değil — birkaç yüz insan etiketi, yargıcın ne ölçtüğünü öğrenmeye yetiyor.

1. 1İnsan etiketli alt küme hazırlayın

   Değerlendirme setinden rastgele bir alt küme seçin ve iki bağımsız insan tarafından puanlatın. Etiketçiler arası uyumu da ölçün — insanlar aynı fikirde değilse yargıçtan uyum beklenemez.

2. 2Yargıcı aynı alt kümede koşturun

   Aynı ölçütlerle, aynı çıktılar üzerinde. Karşılaştırma ancak koşullar aynıysa anlam taşır.

3. 3Uyum oranını ve sapma yönünü ölçün

   Yalnızca "ne kadar uyuyor" değil, "hangi yöne sapıyor" da kaydedilmeli. Sistematik olarak yüksek puanlayan bir yargıç, düzeltilebilir bir yargıçtır.

4. 4Yanlılık sınamalarını ekleyin

   Tablodaki beş sınamayı ayrıca koşturun. Genel uyum yüksek çıksa bile belirli bir yanlılık güçlü olabilir.

5. 5Periyodik tekrarlayın

   Yargıç modeli sürüm değiştirdiğinde kalibrasyon geçersizleşir. Sağlayıcı sürüm değişikliği bir kalibrasyon tetikleyicisidir.

Beşinci adım en çok atlanan. Yargıç olarak kullanılan model de bir dış bağımlılıktır ve habersiz güncellenebilir. Güncelleme sonrası yargıcın ölçütü aynı kalır ama davranışı değişir; bu durumda ölçüm serisindeki bir kırılma, değerlendirilen sistemin değişmesine atfedilir. Yanlış teşhis, yanlış müdahaleyi doğurur — ekip, aslında yargıcın değiştiği bir durumda kendi sistemini düzeltmeye çalışır.

Mekanizma: neden tutarlılık yeterli değil#

Model yargıç savunucularının en sık kullandığı argüman tutarlılık: yargıç aynı çıktıya her seferinde aynı puanı veriyor, dolayısıyla güvenilir. Bu argüman ölçüm teorisinde bilinen bir hatayı tekrarlıyor — güvenilirlik ile geçerlilik karıştırılıyor.

Güvenilirlik, aynı ölçümün tekrarlandığında aynı sonucu vermesidir. Geçerlilik, ölçümün gerçekten ölçmek istediğiniz şeyi ölçmesidir. Bozuk bir tartı güvenilirdir: aynı ağırlığı her seferinde aynı yanlış değerle gösterir. Model yargıç yüksek güvenilirlik sunuyor; geçerlilik ise yalnızca insan etiketine karşı doğrulanarak kurulabilir. Bu iki kavramı ayırmadan yapılan her yargıç savunması, bozuk tartıyı tutarlılığı nedeniyle övmekle aynı şey.

Karşı görüş#

İki itiraz güçlü. Birincisi: insan etiketi de yanlı ve tutarsız. Etiketçiler arası uyum çoğu görevde mükemmel değil; insanı referans almak, başka bir yanlı ölçüme referans almak demek. İkincisi: pratik alternatif yok. Ölçeklenebilir tek yöntem model yargıç; kalibrasyon şart koşmak, ölçümü tümden imkânsız kılabilir.

Yargıcı kalibre etmek için insan etiketi istedik. Etiketçiler arası uyum düşük çıktı. O zaman fark ettik: ölçütümüz belirsizdi, yargıç da insanlar da aynı belirsizliği farklı yorumluyordu.

Alıntı birinci itirazı hem doğruluyor hem tersine çeviriyor. İnsan etiketinin tutarsız çıkması bir arıza değil, bir teşhis: ölçütün yeterince tanımlanmadığını gösteriyor. Etiketçiler arası uyumun düşük olduğu bir ölçütte model yargıç da güvenilir olamaz; sorun yargıçta değil ölçütte. Bu yüzden kalibrasyonun ilk faydası yargıcı doğrulamak değil, ölçütün ölçülebilir olup olmadığını ortaya çıkarmak. İkinci itiraz için de nüans var: kalibrasyon ölçümü imkânsız kılmıyor, maliyetini açık ediyor. Birkaç yüz insan etiketi, bir değerlendirme hattının tüm sonuçlarını yorumlanabilir kılıyor — bu, ölçümü bırakmaktan ucuz.

Sınırlar ve belirsizlik#

Bu analiz kalibrasyon için bir eşik uyum oranı önermiyor; öneremez, çünkü kabul edilebilir uyum görevin doğasına ve kararın riskine bağlı.

• Kabul eşiği görev bağımlı: düşük riskli bir sıralama kararında kabul edilebilir uyum, yüksek riskli bir güvenlik değerlendirmesinde kabul edilemez olabilir.
• Yanlılık listesi tamam değil: burada sayılan beş yanlılık en sık gözlenenler; başka ve alana özgü yanlılıklar bulunabilir.
• Kalibrasyon tazeliği ölçülmedi: yargıç sürümü değişmeden kalibrasyonun ne kadar süre geçerli kaldığına dair veri yok.
• Türkçe özelinde ölçüm sınırlı: yargıç yanlılıklarının Türkçe çıktılarda İngilizceden farklı davranıp davranmadığı yayımlanmış biçimde incelenmemiş.

Sonuç#

Model yargıç, değerlendirmenin ölçeklenmesini mümkün kılan gerçek bir araç. Ama kalibre edilmemiş hâliyle bir ölçüm aracı değil, bir tercih üreticisidir. Aradaki fark pratik: kalibre edilmemiş yargıçla alınan "sürüm B daha iyi" kararı, B'nin daha uzun ve daha kendinden emin yazdığı anlamına da gelebilir.

Uygulamada minimum eşik şu: yargıç kullanan her ekip, insan etiketli bir alt kümede uyum oranını ve sapma yönünü raporlamalı; bu rapor yargıç modeli değiştiğinde yenilenmeli. Bu iki cümlelik disiplin, yargıcı bir güvenilirlik gösterisinden bir geçerlilik aracına çeviriyor ve maliyeti birkaç yüz etiketten ibaret.

Ne yapmalı?#

1. 1Ölçütü yazılı ve sınanabilir hâle getirin

   Etiketçiler arası uyum düşükse sorun yargıçta değil ölçütte. Ölçütü netleştirmeden kalibrasyon anlamsızdır.

2. 2İnsan etiketli alt küme kurun

   Birkaç yüz örnek yeterli. İki bağımsız etiketçi ve aralarındaki uyumun kaydı.

3. 3Uyum oranını ve sapma yönünü yayımlayın

   Her değerlendirme raporunda yargıcın kalibrasyon bilgisi yer alsın. Kalibrasyonu yazılmayan skor yorumlanamaz.

4. 4Beş yanlılık sınamasını hatta ekleyin

   Uzunluk, konum, kendine tercih, ton ve biçim. Genel uyum yüksek çıksa da tek bir yanlılık kararı bozabilir.

5. 5Çapraz yargıç kullanın

   Değerlendirilen modelden farklı aileden bir yargıç seçin; kendine tercih yanlılığının en pratik panzehiri bu.

6. 6Sürüm değişimini tetikleyici yapın

   Yargıç modeli güncellendiğinde kalibrasyonu otomatik olarak geçersiz sayın ve yenileyin.