Değerlendirme Örneklem Büyüklüğü

Hesap ne yapıyor?#

Araç aynı girdilerden iki soruyu cevaplar. İlki, tek bir modelin başarı oranını ± kaç puanlık bir aralıkla raporlamak için kaç örnek gerektiğidir. İkincisi, iki modeli belirli bir fark üzerinden ayırt etmek için kaç örnek gerektiğidir. Eldeki etiketli küme girildiğinde hesap ters yönde de çalışır: o kümeyle ulaşılabilen aralık genişliği ve ayırt edilebilir en küçük fark birlikte gösterilir.

Formül#

Her örneğin geçti ya da geçmedi biçiminde ikili bir sonuç verdiği varsayılır. Böyle bir örneğin taşıdığı belirsizlik p(1-p) ile ölçülür ve oranın standart hatası örnek sayısının kareköküyle küçülür. Aşağıdaki büyüklüklerin tamamı bu iki ilişkiden türer; aracın ekranda gösterdiği her sayı, senin girdiğin değerlerin bu formüllere konmasıyla çıkar.

• Örnek başına varyans: p(1-p). Beklenen başarı oranı %50 dolayındayken en büyüktür, uçlara gittikçe küçülür — yani orta zorlukta bir ölçüt en pahalı ölçüttür.
• Güven aralığı için örneklem: n = z² · p(1-p) / δ². Burada δ hedeflenen yarı genişliktir; formül, aralığın yarı genişliği eşitliğinin n için çözülmüş hâlidir.
• Bağımsız iki örneklemde fark testi: n = (z_güven + z_güç)² · 2p(1-p) / δ². Çıkan sayı kol başınadır, etiketleme yükü bunun iki katıdır.
• Eşleştirilmiş düzende fark testi: n = (z_güven + z_güç)² · a / δ². Burada a, iki modelin ayrıştığı örneklerin oranıdır; yalnızca bu çiftler bilgi taşıdığı için taban varyans yerine anlaşmazlık oranıdır (McNemar yaklaşımı).
• Ayırt edilebilir en küçük fark: aynı eşitlik bu kez δ için çözülür, δ = (z_güven + z_güç) · √(V / n). Eldeki küme ile hangi farkın görülebileceği buradan çıkar; bağımsız düzende n, havuzun tamamı değil kola düşen yarısıdır, tek bir modelin güven aralığı da o yarım üzerinden kurulur.
• z katsayıları standart normal dağılımın kuantilleridir. Ölçüm değil, seçilen güven ve güç düzeyinin tanımıdır.

Varsayımlar#

• Örnekler birbirinden bağımsız çekilir. Aynı belgeden, aynı kullanıcıdan veya aynı şablondan gelen kümelenmiş örneklerde etkin örneklem, hesaptan çıkan sayıdan küçüktür.
• Ölçüt ikilidir: her örnek geçti ya da geçmedi. Puanlı, dereceli veya insan hakemin notuna dayanan ölçütlerde varyans başka türlü hesaplanır.
• Aralık normal yaklaşımla kurulur. Beklenen az görülen sonuç sayısı 10 eşiğinin altına düştüğünde bu yaklaşım aralığı olduğundan dar gösterir; araç bu durumu ayrıca uyarır.
• Beklenen başarı oranı bir öngörüdür. Kesin değer bilinmiyorsa %50 girilerek en kötü durum, yani en büyük örneklem alınır.
• Eşleştirilmiş düzendeki anlaşmazlık oranı kullanıcının girdiği bir varsayımdır; araç bu sayıyı hiçbir ölçümden, tablodan veya modelden okumaz.
• Test iki yanlıdır ve tek bir ölçüt karşılaştırılır; çoklu karşılaştırma düzeltmesi hesaba dahil değildir.

Neyi ölçmez#

Hesap yalnızca örnekleme belirsizliğini verir: aynı dağılımdan başka bir küme çekilse sonucun ne kadar oynayacağını. Kümenin ölçmek istediğin işi temsil edip etmediği, referans cevapların doğruluğu, etiketleyiciler arasındaki tutarsızlık ve eğitim verisine sızmış test örnekleri bu sayıya girmez. Bu kaynakların etkisi örneklem hatasından büyük olabilir ve küme büyütmek onları küçültmez.

Araç hangi modelin daha iyi olduğuna dair bir yargı da üretmez. İçinde hiçbir model, sürüm, fiyat veya benchmark sayısı gömülü değildir; bütün çıktılar senin girdiğin değerlerin aritmetiğidir. Hesap tarayıcıda yapılır, girdiler sunucuya gönderilmez.

Kararı nasıl kullanmalı#

1. 1Ölçütü ikiliye indir

   Bir cevabın hangi koşulda geçmiş sayıldığını yazılı bir kurala bağla. Kural belirsizken çıkan örneklem de belirsizdir; aynı kümede iki kişi farklı sayılar üretir.

2. 2Pilot küme ile oranları ölç

   Küçük bir kümede beklenen başarı oranını ve iki modelin ayrıştığı örnek payını gör, varsayım yerine bu iki sayıyı gir. Hesap en çok bu iki girdiye duyarlıdır.

3. 3Çözünürlüğü kararın maliyetine göre seç

   Hedeflenen yarı genişlik, kararı değiştirecek en küçük farktan büyük olmamalı. Geri dönüşü zor bir yayına alma kararında güven ve güç düzeyi yükseltilir, keşif ölçümünde gevşetilir.

4. 4Eşleştirilmiş düzeni önce dene

   Aynı örnekleri iki modele vermek, ortak zorluğu sadeleştirdiği için çoğu durumda aynı çözünürlüğü belirgin biçimde daha az etiketle verir. Bağımsız kollara ancak eşleştirme mümkün değilken geç.

5. 5Sonucu aralıkla raporla

   Tek bir başarı oranı yerine aralığı yaz. Aralıklar örtüşüyorsa doğru ifade fark yok değil, fark görünmedi biçimindedir.