LLM-as-judge Testi — Orta

İki yanıtı karşılaştıran bir jüri modelinde yanıtların sırası değiştirilince kazanan da değişiyor. Bu belirti neyi gösterir ve ilk düzeltme nedir?

• AAyrıntı yanlılığı; uzun yanıtları cezalandıran bir uzunluk düzeltmesi ekleyip puanları yeniden ölçeklemek.
• BKonum yanlılığı; her çifti iki sırayla koşup tutarsız kalan çiftleri berabere ya da düşük güvenli saymak.
• CYönerge belirsizliği; puan ölçeğini beşten ona çıkarıp ara basamakların tanımını ayrıntılandırmak.
• DÖrnekleme dalgalanması; sıcaklığı düşürüp her çifti tek koşuda puanlayarak tekrarları kaldırmak.

Jüri, içeriği eşdeğer iki yanıttan düzenli biçimde uzun olanı yüksek puanlıyor. Bu eğilimi ölçmenin en doğrudan yolu hangisidir?

• AAynı içeriği kısa ve uzun biçimde taşıyan eşleştirilmiş yanıt çiftleriyle koşup puan farkını raporlamak.
• BYönergeye yanıt uzunluğunun dikkate alınmamasını söyleyen bir cümle ekleyip toplam ortalamayı izlemek.
• Cİnsan etiketiyle uyum oranını hesaplayıp uyumun kabul eşiğinin altına düşüp düşmediğine bakmak.
• DPuanlamayı ikili karşılaştırmaya çevirip kazanma oranlarını eski mutlak puanlarla karşılaştırmak.

Serbest metin yanıtlarını beş basamaklı ölçekle puanlayan jürinin puanları koşular arasında kararsız. Yönerge tarafında en etkili düzeltme nedir?

• AÖlçeği on basamağa genişletip jüriye daha ince ayrım yapabileceği alan bırakmak ve eşikleri korumak.
• BJüriden puanı gerekçesinden önce yazmasını isteyip çıktıyı kısaltarak kararı tek sayıya indirmek.
• CHer basamağı gözlemlenebilir ölçütlerle tanımlayan bir cetvel yazmak ve basamak başına örnek yanıt eklemek.
• DAynı yanıtı üç kez puanlayıp ortalamasını almak ve yönerge metnini olduğu gibi bırakmak.