LLM-as-judge Testi — İleri

Jüri modelinin kendisini değerlendirmek için kurulan bir meta değerlendirme hattının temel bileşeni hangisidir?

• AÜretim trafiğinden rastgele örneklenen etiketsiz büyük bir yanıt havuzu ve jüri puanlarının dağılım grafiği.
• BFarklı üreticilerden üç jüri modeli ve çoğunluk oyu; çoğunluğun tuttuğu örneklerin doğru kabul edilmesi.
• CJürinin gerekçe metinlerini özetleyen ikinci bir model ve bu özetlerin editör tarafından haftalık okunması.
• Dİnsan kararıyla etiketlenmiş, anlaşmazlıklı örnekleri de içeren sabit bir altın küme ve üzerinde hata çözümlemesi.

Jüri kararının üretim kapısı olarak kullanılacağı bir hatta eşiğin belirlenmesinde en savunulabilir yol hangisidir?

• AAltın küme üzerinde yanlış geçirme ve yanlış engelleme maliyetlerini ayrı hesaplayıp eşiği bu ödünleşime göre seçmek.
• BJüri puanlarının ortancasını eşik almak ve her sürümde ortanca kaydıkça eşiği yeniden hesaplamak.
• CEşiği en yüksek toplam doğruluğu veren noktada sabitlemek ve iki hata türü arasındaki farkı ayrıca ele almamak.
• DEşiği jürinin gerekçe uzunluğuna göre ölçeklemek ve uzun gerekçeli kararlara daha düşük eşik uygulamak.

Jüri puanı geliştirme hedefi olarak kullanıldıkça puanlar yükseliyor, kullanıcı şikâyetleri ise azalmıyor. En olası açıklama nedir?

• AJüri modelinin sürümü değişmiş; puan ölçeği kaydığı için eski koşularla karşılaştırma geçersiz olmuş.
• BDeğerlendirme örneklemi küçük kalmış; gözlenen puan artışı istatistiksel gürültüden ayırt edilemiyor.
• CÖlçüt hedefe dönüşünce jürinin ödüllendirdiği yüzeysel özellikler öğrenilmiş; ölçüt geçerliliğini yitirmiş.
• DJüri yönergesi çok basamaklı; puanlar üst basamakta yığıldığı için artış olduğundan büyük görünüyor.