Model yargıcını kalibre etmek

"Cevabın kalitesini puanla" talimatı kalibre edilebilir bir görev tanımlamaz, çünkü karşılığında insan kararı da yoktur. Yargıç her zaman belirli bir insan kararının yerine geçer: bu cevap yayımlanabilir mi, bu özet kaynağıyla çelişiyor mu, bu iki cevaptan hangisi talimata daha uygun. Kararı yazamıyorsanız kalibrasyon da yapamazsınız; ölçecek bir referansınız olmaz.

1. 01Hangi çıktı değerlendiriliyor: tek cevap mı, iki cevabın karşılaştırması mı?
2. 02Hangi girdiler görünür: soru, bağlam, kaynak belgeler, önceki tur?
3. 03Hangi ölçek kullanılıyor: ikili karar, sıralı puan, kazanan seçimi?
4. 04Karar bağlayıcı mı: yayını durdurur mu, yoksa yalnızca rapor mu üretir?
5. 05Beraberlik ve "karar veremiyorum" durumunda ne yazılacak?

Yargıç istemini, uyumu ölçtüğünüz kümedeki hataları kapatacak biçimde ayarlarsanız uyum sayısı yükselir; ama ölçtüğünüz şey artık yargıcın güvenilirliği değil, istemin o kümeye uydurulma derecesidir. Bu, modelin kendi test kümesinde eğitilmesiyle aynı hatadır ve aynı biçimde görünmez kalır.

Altın kümenin bileşimi de bir karardır. İnsanların kolayca anlaştığı örneklerle doldurulmuş bir küme yargıcı yüksek gösterir ama ayırt edici değildir; insanların anlaşamadığı örneklerle doldurulmuş bir küme ise yargıcı haksız yere düşük gösterir. Pratikte işe yarayan bileşim ikisini de içerir ve skorları ayrı verir: mutabık örneklerde uyum, uyuşmazlık örneklerinde davranış.

Bütünsel tek puan iki nedenle kötü çalışıyor: kararsızdır ve teşhis edilemez. Kararsızdır çünkü aynı çıktıya iki koşuda farklı puan gelebilir; teşhis edilemez çünkü puan düştüğünde hangi boyutun bozulduğu bilinemez. Ölçütlere bölmek her iki sorunu da azaltır ve rubriği insanla paylaşılabilir hâle getirir: aynı ölçütler insan etiketlemesinde de kullanılır, böylece uyum ölçümü karşılaştırılabilir olur.

{
  "olcutler": {
    "kaynaklilik": {
      "karar": "evet | kismen | hayir",
      "kanit": "<çıktıdan birebir alıntı>"
    },
    "olgusal_tutarlilik": {
      "karar": "var | yok",
      "kanit": "<bağlamla çelişen cümle>"
    },
    "talimat_uyumu": {
      "karar": "evet | hayir",
      "kanit": "<ihlal edilen talimat>"
    }
  },
  "genel_karar": "kabul | revizyon | ret",
  "gerekce": "<en fazla iki cümle>",
  "rubrik_surumu": "r4"
}

Kanıt alanı iki iş yapıyor. Birincisi denetlenebilirlik: bir uyuşmazlığı incelerken yargıcın neye baktığını görürsünüz. İkincisi bir tutarlılık kontrolü: kanıt alanı çıktıda geçmeyen bir metin içeriyorsa o karar güvenilmezdir ve otomatik olarak işaretlenebilir. Bu kontrol ucuzdur ve sessiz hataların önemli bir kısmını yakalar.

İki yöntem farklı sorulara cevap verir. Eşli karşılaştırma "hangisi daha iyi?" sorusunda insana daha yakın ve daha kararlı sonuç verir, çünkü model mutlak bir eşik hayal etmek zorunda kalmaz. Tekli puanlama ise zaman içinde izlenebilen mutlak bir seviye üretir; sürüm sayısı arttıkça her çifti koşturmak pahalılaştığı için tek başına ölçeklenen yöntem budur.

Hangi yöntemi seçerseniz seçin, iki şeyi önceden yazın: beraberliğin ne zaman verileceği ve puan ölçeğinin her seviyesi için birer çapa örnek. Çapasız bir ölçek zamanla kayar; aynı rubrik, aynı model ve aynı istemle alınan puanlar birkaç ay sonra farklı bir dağılım gösterebilir ve bunu ancak çapalarla fark edersiniz.

Dil modeli yargıçlarında seçeneklerin sunuluş sırasının karara etki ettiği belgelenmiş bir davranıştır. İyi haber, ölçmenin ucuz olması: aynı çifti bir kez (A, B), bir kez (B, A) sırasıyla koşturursunuz. İki koşunun kararı çelişiyorsa o örnekte yargıç içeriğe değil konuma bakmıştır.

• Tutarsızlık oranını her raporda ayrı bir satır olarak verin; gizlenecek değil izlenecek bir sayıdır.
• Çelişen örnekleri beraberlik sayın; kazanan ilan etmek yanlılığı sonuca taşır.
• Sıralamayı örnek bazında rastgeleleştirin, sabit bir düzen kullanmayın.
• Nihai skoru iki sıradaki koşuların ortalaması üzerinden hesaplayın.
• Tutarsızlık oranı yükseliyorsa önce rubriğe bakın: bir ölçüt çıktıya bakarak karara bağlanamıyorsa yargıç içerik yerine konuma tutunur. İstem biçimi ikinci sırada gelir.

Yargıçların daha uzun, daha maddeli, daha kendinden emin görünen cevapları kayırma eğilimi gözlenen bir davranıştır. Bu eğilim sinsi bir sonuç doğurur: sistem istemini "daha ayrıntılı yaz" yönünde değiştirirsiniz, yargıç skoru yükselir, kullanıcı memnuniyeti değişmez. Ölçüm aracı iyileşmeyi değil, aracın kendi tercihini raporlamıştır.

1. 1Eşleştirilmiş çift üret

   Aynı bilgiyi taşıyan bir kısa ve bir uzun biçim hazırlayın; uzun biçim yeni bilgi eklemesin, yalnızca genişletsin.

2. 2Yargıca körlemesine ver

   Hangisinin uzun olduğu belirtilmez; takas testiyle birlikte iki sırada da koşulur.

3. 3Tercih oranını ölç

   İçerik aynıyken tercih dengeli dağılmalı; sistematik bir yön varsa bu yanlılığın büyüklüğüdür.

4. 4Rubriği düzelt

   "Gereksiz uzunluk" ölçütünü ekleyin ve kanıt zorunluluğu koyun: dolgu olduğu iddia edilen cümle alıntılansın.

5. 5Yeniden ölç

   Aynı kontrol koşusunu tekrarlayın; düzeltme işe yaramadıysa yanlılığı sınırlılık olarak raporlayın.

Aynı mantık biçim ve kendi ailesini kayırma için de geçerli. Yargıç, değerlendirdiği çıktıyla aynı model ailesinden geliyorsa kendi ailesinin üslubunu ödüllendirme eğilimi gösterebilir. Bu seçim yapılabilir — maliyet ve gizlilik gerekçeleri meşrudur — ama raporda sınırlılık olarak yazılmalı ve mümkünse farklı aileden ikinci bir yargıçla çapraz kontrol edilmelidir.

Kalibrasyonun temel referansı yargıcın mutlak doğruluğu değil, insanların birbiriyle uyumudur. İnsanlar bu görevde orta düzeyde uzlaşıyorsa, yargıçtan daha fazlasını beklemek anlamsızdır; yargıcın insan-insan uyumunu belirgin biçimde aşması ise genellikle iyi bir haber değil, bir sızıntı işaretidir: yargıç örnekleri değil bir kısayolu (örneğin uzunluğu veya bir kalıbı) okuyordur. Tavanı karşılaştırırken iki sayının aynı türden olmasına dikkat edin: hakem turundan geçmiş uzlaşı etiketleri tek tek etiketleyicilerin gürültüsünü taşımaz, bu yüzden yargıç-uzlaşı uyumu doğası gereği ham insan-insan uyumundan yüksek çıkar ve bu tek başına sızıntı anlamına gelmez.

Kabul eşiğini ölçümden önce yazın. Sonra yazıldığında çıkan her değer için bir gerekçe bulunur ve karar ölçüme değil müzakereye döner. Eşiğin yanında güven aralığı da bulunmalı: birkaç yüz örnek üzerinde hesaplanan bir uyum katsayısının belirsizliği küçük değildir ve iki yargıç sürümü arasındaki küçük farklar çoğu zaman bu aralığın içinde kalır.

Yargıç isteminde yapılan tek kelimelik bir değişiklik, o güne kadar toplanmış bütün skorların anlamını sessizce değiştirir. Skorlar aynı grafikte yan yana durmaya devam eder ama artık aynı şeyi ölçmemektedirler. Bu yüzden istem, ölçülen sistemin bir parçası değil ölçüm aletinin kendisidir ve alet değiştiğinde yeniden kalibre edilmesi gerekir.

• İstem metni ve rubrik sürümü
• Yargıç modelinin kimliği ve sürüm etiketi
• Örnekleme ayarları (sıcaklık, varsa tohum değeri)
• Çıktı şeması ve ayrıştırma kuralları
• Altın küme sürümü ve koşturma tarihi

Kalibrasyon bir kereye mahsus bir tören değil, sürekli bir bakım işidir. Üretim trafiği altın kümenin temsil ettiği dağılımdan uzaklaşır; ürün değişir, kullanıcılar yeni şeyler dener, sistem istemi güncellenir. Kalibrasyonun bozulduğunu size ancak dönemsel olarak insana geri gönderilen küçük bir örneklem söyler.

Son olarak yetkiyi yazın: yargıç hangi kararları tek başına verebilir, hangileri insan onayı ister. Bir raporu işaretlemek, bir örneği incelemeye almak veya bir sürümü sarıya boyamak yargıca bırakılabilir. Kullanıcıya görünen bir yaptırım uygulamak ya da yayını tek başına durdurmak ise kalibrasyonun kesinliğinden fazlasını talep eder; bu kararlarda yargıç sıralayıcıdır, karar verici değil.