Ölçüt seçimi ve model yargıcının kalibrasyonu
Kural tabanlı ölçütün nerede yettiğini, model yargıcının ne zaman gerektiğini ve yargıcın insan etiketiyle uyumu ölçülerek nasıl bir ölçüm aracına dönüştürüldüğünü öğretir.
Önkoşul: Evaluation, Prompt Engineering
BU DERSİN SONUNDA
- Deterministik ölçütle model yargıcı arasında gerekçeli seçim yapmak
- Yargıç istemini ikili ölçüt dizisi ve kanıt zorunluluğuyla kurmak
- Yargıcın insan etiketiyle uyumunu tesadüfi uyumdan ayırarak ölçmek
- Konum, uzunluk ve üslup yanlılıklarını kurgu değişikliğiyle sınırlamak
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Bir ölçüt, ölçtüğü şeyi doğrulanabilir biçimde tanımlıyorsa kural tabanlı yazılır: şema uyumu, atıfın kaynak pasajda bulunması, zorunlu alanın dolu olması böyledir. Model yargıcı ancak açık uçlu kaliteyi ölçmek gerektiğinde devreye girer ve devreye girdiği anda kendisi de bir ölçüm aracıdır; insan etiketiyle uyumu ölçülmeden ürettiği puan veri sayılmaz.
Teori: ölçüt mü, yargıç mı#
Deterministik kontrolün üstünlüğü tekrarlanabilirliktir: aynı girdiye her zaman aynı sonucu verir, koşu maliyeti yaratmaz ve hatası ayıklanabilir. Kapsadığı alan da sanılandan geniştir; çıktı şemasının geçerliliği, zorunlu alanların varlığı, sayısal bir sonucun bağımsız hesapla tutması, atıf olarak verilen cümlenin kaynak pasajda gerçekten bulunması, aracın izin verilen küme içinde çağrılması. Bir ölçütü yargıca devretmeden önce sorulacak soru şudur: bu koşul bir kontrol fonksiyonu olarak yazılabilir mi?
Yargıç, koşul yazılamadığında gerekir: yanıt soruyu gerçekten karşılıyor mu, gerekçe kendi içinde tutarlı mı, belirsizlik adlandırılmış mı, ton kurum diliyle uyuşuyor mu. Bu sorular insan yargısı gerektirir ve yargıç modeli o insan yargısının ölçeklenmiş bir yaklaşımıdır, yerine geçen bir gerçek değil. Ayrım pratikte tek cümleye iner: yargıcın puanı, insan etiketiyle ne kadar örtüştüğü bilinmedikçe yorumlanamaz.
Örnek: ölçüt türü ve körlüğü#
| Ölçüt | Neyi doğrular | Nerede yeter | Körlüğü |
|---|---|---|---|
| Şema doğrulama | Çıktının sözleşilen yapıya uyması | Yapılandırılmış çıktı, araç çağrısı | Alanların içi anlamsız olabilir |
| Tam eşleşme | Çıktının beklenen değere birebir eşitliği | Sınıflandırma, yönlendirme, çıkarım | Eşdeğer ama farklı yazılmış doğru yanıtı hata sayar |
| Atıf bulunabilirliği | Gösterilen alıntının kaynak pasajda yer alması | Belge sorusu, geri getirmeli yanıt | Alıntı bulunur ama iddiayı desteklemiyor olabilir |
| Yeniden hesaplama | Sayısal sonucun bağımsız hesapla tutması | Hesap, toplama, tarih aritmetiği | Yalnızca hesabın kendisini görür |
| Metin örtüşme puanı | Çıktının referans metne kelime düzeyinde yakınlığı | Kalıplı, sabit ifadeli çıktı | Anlamı görmez; üslup taklidini ödüllendirir |
| Model yargıcı | Rubrikteki açık uçlu ölçütlerin sağlanması | Kalite, gerekçe tutarlılığı, belirsizliğin adlandırılması | Kendi yanlılıkları var; kalibrasyon gerektirir |
Yargıç istemini kurmak#
Yargıç istemindeki üç yapısal karar sonucu belirler. Birincisi ölçek: "yanıtı beşli ölçekte puanla" talimatı, basamakların ne anlama geldiği yazılmadığı için koşudan koşuya kayar; yerine her biri tek şeyi soran ikili ölçütler dizisi kullanılır ve toplam bu ölçütlerden türetilir. İkincisi sıra: gerekçe puandan önce istenir, çünkü puan önce yazıldığında arkasından gelen metin gerekçe değil savunma olur. Üçüncüsü kanıt zorunluluğu: her olumsuz karar için yanıttan birebir alıntı istemek, kararı denetlenebilir kılar ve dayanağı olmayan kararı görünür yapar.
surum: yargic-istemi-v3
gorev: "Yanıtın kabul rubriğine uyup uymadığını değerlendir."
girdi_alanlari: [soru, kaynak_pasajlar, yanit, zorunlu_bilesenler, yasak_bilesenler]
cikti_sirasi: [gerekce, olcut_kararlari, toplam]
olcutler:
- kimlik: zorunlu_bilesenler_tam
soru: "Zorunlu bileşenlerin hepsi yanıtta var mı?"
karar: [evet, hayir]
kanit_zorunlu: true
- kimlik: kaynak_disi_iddia_yok
soru: "Yanıtta, kaynak pasajlarda karşılığı olmayan bir iddia var mı?"
karar: [evet, hayir]
kanit_zorunlu: true
- kimlik: belirsizlik_adlandirilmis
soru: "Girdideki belirsizlik yanıtta adlandırılmış mı?"
karar: [evet, hayir, uygulanamaz]
kurallar:
- "Yalnızca verilen kaynak pasajlara dayan; kendi bilgini kullanma."
- "Karar veremiyorsan 'belirsiz' yaz ve nedenini tek cümleyle söyle."
- "Uzunluk, biçim düzgünlüğü ve kendinden emin üslup puana etki etmez."
- "Her olumsuz karar için yanıttan birebir alıntı ver."Kalibrasyon: insan etiketiyle uyum#
- 1Altın etiket seti ayır
Karar kümesinden, her hata sınıfını ve sınırda vakaları kapsayan bir alt küme seçip insan eliyle etiketleyin. Bu alt küme yargıcın sınav kağıdıdır; yargıç istemi yazılırken tek tek vakalarına bakılmaz.
- 2İki bağımsız insan geçişi yap
Aynı vakaları iki kişi ayrı ayrı etiketlesin. İnsanlar arası uyum, yargıçtan beklenebilecek uyumun üst sınırıdır: insanların anlaşamadığı bir ölçütte yargıçtan tutarlılık beklemek anlamsızdır.
- 3Uyumu tesadüften ayır
Çıplak uyum oranı yanıltır; kararlardan biri baskınsa, çoğunlukla o cevabı veren iki etiketleyici birbirine rastgele de uyar. Beklenen tesadüfi uyum, iki tarafın kendi "evet" oranlarının çarpımı ile "hayır" oranlarının çarpımının toplamıdır. Gözlenen uyumdan bunu çıkarın ve kalanı, tesadüfün üstünde kalabilecek en büyük paya — bir eksi tesadüfi uyuma — bölün; okunacak sayı budur.
- 4Uyuşmazlıkları oku, rubriği düzelt
Yargıcın insandan ayrıldığı vakaları tek tek okuyun. Ayrılmanın nedeni çoğunlukla yargıcın yetersizliği değil ölçütün belirsizliğidir; düzeltme önce rubrikte, sonra istemde yapılır.
- 5Uyumu sürümle sakla
Yargıç istemi, yargıç modeli veya rubrik değiştiğinde uyumu yeniden ölçün ve sonucu sürümle kaydedin. Kalibrasyonu bilinmeyen bir yargıcın ürettiği skor, önceki skorlarla aynı grafiğe konamaz.
Yargıcın yanlılıkları#
- Konum yanlılığı: iki yanıt yan yana sunulduğunda sıranın kararı etkilemesi. Karşıtı, aynı çifti iki sırayla sorup kararın değişip değişmediğine bakmak.
- Uzunluk yanlılığı: daha uzun ve ayrıntılı görünen yanıtı yeğleme. Karşıtı, rubrikte uzunluğun puana etki etmediğini yazmak ve kısa ama doğru vakaları altın sete koymak.
- Üslup yanlılığı: kendinden emin ve düzgün biçimlendirilmiş yanıtı doğru sayma. Ölçtüğünüz şey desteksiz iddia ise en tehlikeli yanlılık budur.
- Kendine benzeyeni yeğleme: yargıcın, kendi üslubuna yakın üretilmiş yanıtı daha iyi bulması. Karşıtı, yargıç ile üretici kurguyu ayrı tutmak ve ikisini kayıtta belirtmek.
- Gerekçe uydurma: yargıcın puanını haklı çıkaracak, yanıtta bulunmayan bir gerekçe yazması. Karşıtı, her olumsuz karar için birebir alıntı zorunluluğu.
Sık yapılan hata#
En yaygın hata, yargıcı ölçüm aracı değil hakem sanmak: kalibrasyonu ölçülmemiş bir yargıcın puanı ölçüm gibi raporlanır ve sürüm kararı buna dayanır. İkincisi, deterministik yazılabilecek bir koşulu yargıca devretmek; atıfın kaynak pasajda bulunup bulunmadığı bir metin arama işidir, yargıç bunu daha pahalıya ve daha gürültülü yapar. Üçüncüsü, yargıcın gerekçesini okumadan yalnızca puanını almak. Gerekçe, hem ölçütün belirsizliğini hem yargıcın yanlılığını görünür kılan tek kayıttır ve okunmadığında yargıç kapalı bir kutuya döner.
LAB · UYGULAMALI ALIŞTIRMA
Rubriği iki insan geçişiyle kalibre edin
- 1Karar kümenizden, her hata sınıfını ve en az beş sınırda vakayı kapsayan yirmi yanıt seçin.
- 2Her biri tek şeyi soran ve evet ya da hayır ile yanıtlanan üç ölçüt yazın; her ölçüt için birer "evet" ve "hayır" örneği ekleyin.
- 3İki kişi bu yirmi yanıtı birbirinden bağımsız etiketlesin ve kararlar ölçüt başına ayrı ayrı kaydedilsin; ikinci kişiye erişiminiz yoksa aynı yanıtları bir gün arayla kendiniz iki kez etiketleyin ve bunun insanlar arası uyumun yerini tutmadığını, yalnızca ölçütün ne kadar kararlı okunduğunu gösterdiğini not edin.
- 4Ölçüt başına gözlenen uyum oranını hesaplayın; ardından her etiketleyicinin kendi evet ve hayır oranlarından beklenen tesadüfi uyumu bulun, gözlenen uyumdan çıkarın ve kalanı bir eksi tesadüfi uyuma bölün.
- 5Kalan payın en düşük olduğu ölçütü alın; uyuşmayan vakaları okuyup ölçüt cümlesini yeniden yazın ve yalnızca o ölçütü yeniden etiketleyin.
- 6Son rubriği, ölçüt başına uyum notu ve düzeltme gerekçesiyle sürümleyip yargıç isteminin girdisi olarak saklayın.
Beklenen çıktı
Ölçüt başına uyumu tesadüfi uyumdan arındırılarak ölçülmüş ve bir tur düzeltmeden geçmiş, sürümlenmiş bir kabul rubriği.
Sık sorulan sorular
Yargıç olarak, değerlendirdiğim sistemin kendi modelini kullanabilir miyim?
Çalışır, ama bağıntılı bir körlük ekler: aynı model aynı yanılgıyı hem üretir hem doğru sayar. Bu özellikle desteksiz iddia ölçümünde risklidir, çünkü uydurma tam olarak modelin kendi doğru saydığı şeydir. Yargıcı üreticiden ayrı tutmak, ayıramıyorsanız o ölçütü deterministik kontrollerle sarmak ve her durumda yargıç kurgusunu koşu kaydında belirtmek gerekir.
Yargıçtan gerekçe istemek her zaman iyi mi?
Gerekçe puandan önce isteniyorsa karar denetlenebilir olur ve ölçütteki belirsizlik görünür hale gelir; bu yüzden karar koşularında değerlidir. Ama gerekçe metninin kendisi ölçüm değildir: ikna edici bir gerekçe yanlış bir kararı da destekleyebilir. Bu nedenle gerekçe, alıntı zorunluluğuyla birlikte istenir. Süre ve maliyet artışı nedeniyle her koşuda değil, karara esas koşularda açmak makul bir denge.
İnsan etiketiyle uyum ne kadar olmalı?
Sabit bir eşik yok; üst sınır insanlar arası uyumdur. Yargıcı bu üst sınırla karşılaştırın: belirgin biçimde altındaysa önce rubriği, sonra istemi düzeltin. Uyum düşükken skoru yine de raporlamak yerine, o ölçütü deterministik bir kontrole indirgemeyi ya da ölçütü iki ayrı soruya bölmeyi deneyin.
LEARN
Değerlendirme Mühendisi rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.