Karışıklık Matrisi ve Eşik

Hesap ne yapıyor?#

Araç bir doğrulama kümesinde tek bir eşikte ölçülmüş dört sayıyı alır: gerçek pozitif, yanlış negatif, yanlış pozitif, gerçek negatif. Bunlardan kesinlik, duyarlılık, özgüllük, yanlış pozitif oranı, doğruluk, dengeli doğruluk ve F1 türetilir. Ardından iki hata türüne verdiğiniz bedeli alıp toplam hata maliyetini ayrıştırır ve bu maliyet dengesinin gerektirdiği karar eşiğini hesaplar. Çıktı bir model puanı değil, bir karar kaydı: hangi hatayı hangi bedelle kabul ettiğinizi sayıya çevirir.

Formül#

Her ölçüt matrisin bir satırından veya sütunundan okunur; hangisinden okunduğu ölçütün neyi gizlediğini de belirler. Kesinlik sütun okumasıdır, sınıf dengesi değişince kayar; duyarlılık satır okumasıdır, negatif sınıfın büyüklüğünden etkilenmez. Bölenin sıfır olabildiği durumlarda oran tanımsızdır ve araç bunu sıfır yerine "tanımsız" olarak gösterir.

• Kesinlik = TP / (TP + FP) — pozitif dediklerinizin ne kadarı gerçekten pozitifti. Hiç pozitif tahmin yoksa tanımsızdır.
• Duyarlılık = TP / (TP + FN) — gerçek pozitiflerin ne kadarını yakaladınız. Kümede hiç pozitif yoksa tanımsızdır.
• Özgüllük = TN / (TN + FP); yanlış pozitif oranı bunun tümleyenidir: FP / (TN + FP).
• F1 = 2PR / (P + R), yani kesinlik ile duyarlılığın harmonik ortalaması; Fβ = (1 + β²)PR / (β²P + R) ve β maliyet oranından C_FN / C_FP olarak alınır.
• Toplam hata maliyeti = FP × C_FP + FN × C_FN; maliyet en iyi eşik = C_FP / (C_FP + C_FN).
• Dengeli doğruluk = (duyarlılık + özgüllük) / 2; çoğunluk sınıfı temeli = büyük sınıfın toplam içindeki payı — doğruluk bunun altındaysa doğruluk sayısı bilgi taşımıyor.

Varsayımlar#

• Model bir olasılık skoru veriyor ve bu skor kalibre: 0,70 diyen tahminlerin yaklaşık yüzde yetmişi gerçekten pozitif. Kalibre olmayan bir skorda eşik sayısı hâlâ yön verir, ama mutlak değeri güvenilmez.
• Doğru kararların maliyeti sıfır sayılır; bedeli yalnızca iki hata türü üretir. Doğru pozitifin de bir işlem maliyeti varsa formül bunu görmez.
• İki hata türünün maliyeti örnekten örneğe değişmez, tek bir sabit birimle ifade edilir. Birimi siz seçersiniz: para, operatör dakikası veya soyut puan.
• β değerinin maliyet oranına eşitlenmesi yaygın kabul edilen bir eşlemedir, türetilmiş bir sonuç değil. Fβ, eşik kararının kendisini değil sıralama ölçütünü ağırlıklar.
• Girdiğiniz dört sayı tek bir doğrulama kümesinden ve tek bir eşikten geldiği kabul edilir; farklı eşiklerin matrisleri karıştırılırsa sonuç anlamsızdır.

Neyi ölçmez#

Araç eşiği kaydırdığınızda matrisin nasıl değişeceğini bilmez: önerilen eşikteki TP, FP, FN ve TN sayıları ancak doğrulama kümesi yeni eşikle yeniden puanlanarak ölçülür. Eşik kaymasının kesinlik ile duyarlılık arasındaki takası ne kadar sert olacağı modelin ayırt etme gücüne bağlıdır ve tek bir matristen okunamaz; bunun için eşik taraması ya da ROC/PR eğrisi gerekir. Tek matris belirsizlik de taşımaz — küçük kümelerde bu oranların güven aralığı geniştir ve iki modeli ayıran fark gürültü olabilir. Son olarak araç alt gruplara bakmaz: toplamda dengeli görünen bir eşik, belirli bir alt grupta yanlış negatifi yoğunlaştırabilir.

Kararı nasıl kullanmalı#

1. 1Matrisi tek eşikten doldurun

   Eğitim kümesini değil, modelin görmediği doğrulama kümesini kullanın ve dört sayının hepsinin aynı eşikte üretildiğinden emin olun. Eşiği de olduğu gibi girin; araç kaymayı buna göre ölçer.

2. 2İki hatanın bedelini aynı birime çevirin

   Kaçan vakanın bedeli ile boşa alarmın bedelini tek ölçeğe indirin. Mutlak değer değil oran önemlidir: 1 ile 10 girmek, 100 ile 1000 girmekle aynı eşiği verir.

3. 3Önerilen eşiği uygulayıp kümeyi yeniden puanlayın

   Eşiği maliyet en iyi noktaya taşıyın ve doğrulama kümesini o eşikte baştan puanlayarak yeni matrisi ölçün. Bu ikinci matrisi araca geri girin; kayma sıfıra yaklaşana kadar bu döngü sürer.

4. 4Kapasiteyi ve alt grupları kontrol edin

   Eşik düştüyse ortaya çıkan alarm hacminin inceleme kapasitesini aşmadığını, yükseldiyse kaçan vakayı yakalayacak ikinci bir kontrolün bulunduğunu doğrulayın. Kararı, dayandığı maliyet varsayımıyla birlikte yazılı bırakın.