Veri Seti Bölme Hesaplayıcı

Hesap ne yapıyor?#

Araç, veri seti hacmi ile eğitim, doğrulama ve test paylarını alıp üç kümenin örnek sayısını çıkarır. Ardından aynı oranları en küçük sınıfa uygular: katmanlı bölmede o sınıftan test kümesine kaç örnek düşeceğini, rastgele bölmede bu sayının hangi bant içinde oynayacağını ve sınıfın test kümesinde hiç görünmeme olasılığını hesaplar. Son olarak test kümesinin ölçüm çözünürlüğünü verir: tek bir örneğin doğruluk yüzdesini ne kadar oynattığını ve %95 güven aralığının yarı genişliğini. Girilen eşik karşılanmadığında üç somut çıkış yolu sayısallaştırılır.

Formül#

Küme büyüklükleri doğrudan orandan gelir; eğitim payı girdi değil artıktır, böylece üç kümenin toplamı her zaman veri setine eşit kalır. Sınıf düzeyindeki hesaplar iki ayrı modelden türer: katmanlı bölme oranı sınıf içinde de koruduğu için tam sayıya aşağı yuvarlanmış çarpımdır; rastgele bölme ise her örneğin test kümesine p olasılığıyla bağımsız düştüğü binom modeliyle ele alınır.

• Test ve doğrulama kümesi: toplam örnek × ilgili pay, yuvarlanır. Eğitim kümesi kalan artıktır; yuvarlama farkı eğitime yazılır.
• En küçük sınıfın örneği: toplam örnek × sınıf payı. Pay, eşit dağılımdaki üst sınır olan 100/sınıf sayısı ile tepeden kırpılır.
• Katmanlı bölmede sınıfın test örneği: sınıf örneği × test payı, aşağı yuvarlanır. Bu, hesabın verdiği garanti alt sınırdır.
• Rastgele bölmenin salınımı: sapma = karekök(n × p × (1−p)); %95 bant, beklenen değerin 1,96 sapma altı ve üstüdür. Sınıfın test kümesinde hiç görünmeme olasılığı (1−p) üzeri n'dir.
• Ölçüm çözünürlüğü: tek örneğin genel doğruluğa ağırlığı 100 / test örneği, o sınıfın kendi doğruluğuna ağırlığı 100 / sınıfın test örneği. Genel doğruluğun belirsizlik payı, Wald aralığının yarı genişliği: 1,96 × karekök(p(1−p) / n); gösterilen bant %0–%100 aralığına kırpılır.
• Eşik karşılanmadığında: gereken test payı = eşik / sınıf örneği; sınıf payı korunarak gereken veri seti = eşik / (test payı × sınıf payı); yalnızca en küçük sınıfa toplanacak örnek = eşik / test payı − sınıfın mevcut örneği; açılabilecek en çok kat sayısı = (sınıf örneği − sınıfın test örneği) / eşik, aşağı yuvarlanır.

Varsayımlar#

• Bölme örnek düzeyinde ve bağımsız yapılır. Aynı kullanıcıya, belgeye veya oturuma ait örnekler yoktur varsayılır.
• Sınıf payı veri setinin tamamı için geçerlidir; eğitim ile test arasında dağılım kayması yoktur. "Gereken veri seti" hesabında pay, büyüme boyunca da korunur varsayılır.
• Rastgele bölme binom dağılımıyla modellenir. Gerçekte küme boyutu sabit olduğu için dağılım hipergeometriktir; binom sapmayı bir tık yüksek veren güvenli taraftaki yaklaşımdır.
• Doğruluk aralığı Wald yaklaşımıdır; örnek sayısı küçüldükçe ve doğruluk uçlara yaklaştıkça gerçek aralıktan sapar, hatta %0–%100 dışına taşar. Taşan uç kırpılarak gösterilir; kırpma görünüyorsa aralığın kendisi güvenilmezdir.
• "Sınıf başına en az test örneği" alanının 30 olan başlangıç değeri yaygın bir kabuldür, ölçülmüş bir sınır değildir; hata maliyetine göre değiştirilmelidir.
• Aracın koyduğu üç karar sınırı — katmanlı bölmeyi zorunlu sayan iki eşik (hiç görünmeme olasılığının %1'i, bağıl sapmanın 0,2'yi aşması) ve test kümesini "modelleri ayırt edemez" sayan 3 puanlık belirsizlik payı — kabullerdir, literatürden alınmış sabitler değil.

Neyi ölçmez#

Sızıntıyı göremez: aynı kaynaktan gelen örnekler eğitim ve test arasına dağılmışsa skor olduğundan yüksek çıkar ve bu araç bunu fark etmez; böyle veride bölme grup düzeyinde yapılmalıdır. Zaman serisinde rastgele bölme baştan geçersizdir — bölme tarihe göre yapılır ve oranlar korunmaz, dolayısıyla sınıf hesapları anlamını yitirir. Araç dengesizliği yalnızca en küçük sınıf üzerinden görür; ortadaki sınıfların dağılımını, etiket gürültüsünü, örneklerin zorluk dağılımını ve hata maliyetinin sınıflar arasında eşit olmadığını hesaba katmaz. Doğruluk dışındaki ölçütler (kesinlik, duyarlılık, F1) için belirsizlik payı farklı hesaplanır.

Kararı nasıl kullanmalı#

1. 1Eşiği önce belirle

   Bölme oranını değil, bir sınıf için ölçümü anlamlı saydığın en az örnek sayısını seç. Hata maliyeti yüksek sınıflarda bu sayı büyür. Oranlar bu eşiğin sonucudur, tersi değil.

2. 2En küçük sınıfa bak

   Toplam test kümesi büyükken en küçük sınıfın eşiği karşılamaması sık görülür. Eşik karşılanmıyorsa aracın üç çıkışını karşılaştır: test payını yükseltmek, veri toplamak veya çapraz doğrulamaya geçmek.

3. 3Bölme yöntemini buna göre sabitle

   Salınım bandı geniş ya da hiç görünmeme olasılığı ihmal edilemezse bölme sınıf etiketine göre katmanlanır. Bölme tohumu ve kümelerin örnek sayıları kayda geçirilir; sonraki her ölçüm aynı bölmeyle yapılır.

4. 4Skoru aralıkla raporla

   Belirsizlik payını skorun yanına yaz. İki model arasındaki fark bu paydan küçükse karar test kümesiyle verilemez; ya test büyütülür ya da eşleştirilmiş karşılaştırma ile aynı örneklerdeki hata farkına bakılır.