Metrik seçimi ve işletim eşiği

Teori: doğruluk neden yanıltır#

Doğruluk, sınıf dağılımını gizler. Pozitif sınıfın seyrek olduğu bir sette her örneğe negatif diyen boş bir model bile yüksek doğruluk üretir, çünkü taban çizgisi zaten yüksektir. Bir metriğin ne söylediğini anlamak için önce onun boş modelde ne verdiğini hesaplayın; taban çizgisini geçmeyen bir sayı bilgi taşımaz.

Karışıklık matrisi bu yüzden başlangıç noktasıdır: doğru pozitif, yanlış pozitif, yanlış negatif ve doğru negatif sayıları. Kesinlik, pozitif dediklerinizin ne kadarının gerçekten pozitif olduğunu; duyarlılık, gerçek pozitiflerin ne kadarını yakaladığınızı söyler. İkisi farklı hatayı cezalandırır ve hatalar simetrik değildir: bir dolandırıcılık vakasını kaçırmak ile temiz bir işlemi incelemeye düşürmek aynı şey değildir.

Eşikten bağımsız ve eşiğe bağlı metrikler#

Maliyet duyarlı eşik#

Eşik, istatistiksel değil ekonomik bir karardır. Bir örneğe pozitif demenin beklenen maliyeti, yanlış pozitif maliyeti ile negatif olma olasılığının çarpımıdır; negatif demenin beklenen maliyeti ise yanlış negatif maliyeti ile pozitif olma olasılığının çarpımı. İkisinin eşitlendiği olasılık, teorik en iyi eşiktir ve yalnızca iki maliyetin oranına bağlıdır — mutlak büyüklüklerine değil. Bu yüzden paydaşlardan tam rakam alamasanız bile "bir kaçırma, kaç yanlış alarma bedeldir" sorusunu cevaplatabilirseniz eşiği türetebilirsiniz.

def en_iyi_esik(olasiliklar, gercek, maliyet_yp, maliyet_yn):
    """Beklenen maliyeti en kucuklestiren esigi aday esikler arasinda arar.

    olasiliklar: dogrulama kumesindeki tahmin edilen pozitif olasiliklari
    gercek: ayni sirada 0/1 gercek etiketler
    maliyet_yp: bir yanlis pozitifin birim maliyeti (kendi is biriminizde)
    maliyet_yn: bir yanlis negatifin birim maliyeti (ayni birimde)

    Donus: (secilen esik, o esikteki toplam maliyet).
    """
    # En buyuk olasiligin ustundeki aday, "hic pozitif deme" secenegini kapsar.
    adaylar = sorted(set(olasiliklar)) + [max(olasiliklar) + 1.0]
    en_iyi, en_dusuk = 0.5, float("inf")
    for esik in adaylar:
        yp = sum(1 for p, y in zip(olasiliklar, gercek) if p >= esik and y == 0)
        yn = sum(1 for p, y in zip(olasiliklar, gercek) if p < esik and y == 1)
        maliyet = yp * maliyet_yp + yn * maliyet_yn
        if maliyet < en_dusuk:
            en_iyi, en_dusuk = esik, maliyet
    return en_iyi, en_dusuk

Bu aramanın koştuğu yer doğrulama kümesidir, test kümesi değil. Eşiği test kümesinde seçerseniz test kümesi ikinci bir eğitim setine dönüşür ve raporladığınız sayı iyimserleşir. Ayrıca eşik sabit bir varlık değildir: girdi dağılımı veya kapasite değişince yeniden seçilmelidir; bu dersin devamı izleme bölümünde bu tetikleyiciyi kuracaksınız.

Karar: metrik nasıl seçilir#

1. 1Kararı yaz

   Model çıktısı hangi eylemi tetikliyor, o eylemi kim yapıyor ve geri alınabilir mi?

2. 2İki hatayı fiyatla

   Yanlış pozitif ve yanlış negatifin kime neye mal olduğunu aynı birimde yazın; birim para olmak zorunda değil, inceleme dakikası da olur.

3. 3Kapasite sınırını ekle

   Günde en çok kaç pozitif işlenebiliyor? Sınır varsa doğru metrik ilk k adaydaki kesinliktir, genel kesinlik değil.

4. 4İki metrik seç

   Biri model karşılaştırmak için eşikten bağımsız, biri canlı raporlama için eşiğe bağlı olsun.

Sık yapılan hata#

En sık hata her şeyi tek sayıya indirmektir: F1 rapor metriği seçilir, ekip aylarca onu iyileştirir ve kimse F1'in iki hatanın eşit maliyette olduğunu varsaydığını fark etmez. İkinci sık hata, sınıf dengeleme ile metrik düzeltmeyi karıştırmaktır; aşırı örnekleme veya sınıf ağırlığı modelin gördüğü dağılımı değiştirir, kararın ekonomisini değiştirmez. Üçüncüsü, dengeleme sonrası çıkan skorları hâlâ gerçek olasılık gibi okumaktır.