Benchmark Tasarımı Testi — İleri

Bir model, herkese açık bir ölçütte beklenenin çok üzerinde, aynı yeteneği ölçen kapalı kümede ise vasat skor alıyor. Bu farkın kirlenmeden geldiğini gösterecek en doğrudan ölçüm tasarımı hangisidir?

• AAynı ölçütte daha büyük bir modelle karşılaştırma yapıp skor sırasını incelemek
• BAçık ölçütün zor alt kümesini ayırıp yalnızca o alt kümenin skorunu bildirmek
• CAçık ölçütteki soruları anlamı bozmadan yeniden yazıp skor düşüşünü ölçmek
• DAynı modeli açık ölçütte birkaç kez koşup skorun koşumlar arası varyansını raporlamak

İçerik moderasyonu için sahadaki sınıf dağılımını birebir yansıtan rastgele bir ölçüt kümesi kurmak hangi başarısızlık kipini gizler?

• ANadir ama maliyetli sınıflarda performans, örnek azlığından ölçülemez kalır
• BToplam doğruluk oranı, sık görülen sınıfın aleyhine sistematik olarak sapar
• CPuanlayıcılar arası uyum, dengeli bir kümede olacağından daha yüksek çıkar
• DKüme, sahada dağılım kayması yaşandığında yeniden örneklenemez hale gelir

İki model sürümü arasındaki küçük bir skor farkının gerçek bir iyileşme olduğunu iddia edebilmek için raporda bulunması gereken nedir?

• AHer iki sürümün eğitim verisi büyüklüğü ve veri kaynaklarının dağılımı
• BAynı kümede tekrarlı koşumlardan türetilen bir belirsizlik aralığı
• CKümedeki soruların zorluk sırasına dizilmiş sıralı skor dökümü
• Dİki sürümün istek başına ortalama yanıt gecikmesi ve maliyeti