Alt grup başına hata dağılımını ölçmek

Alt grup ölçümü bir veri işi gibi görünür ama ilk adımı yazı işidir. Elinizdeki kolonlardan başlarsanız yalnızca ölçmesi kolay olanı ölçersiniz. Doğru başlangıç şu cümlenin tamamlanmasıdır: "Bu model şu kararı verirken şu durumdaki kişiler için şu zararı üretebilir." Tamamlanan her cümle bir ölçüm hipotezidir; sonuçta ya doğrulanır ya çürütülür.

Grup listesi iki kaynaktan gelir: hukukun koruduğu özellikler ve kararın işleyişinde farklılık yaratan operasyonel durumlar. İkincisi çoğu kurumda atlanıyor; oysa hata yoğunluğu sıklıkla "ilk kez başvuran", "eksik bilgiyle başvuran" ya da "mesai dışında başvuran" gibi kesitlerde toplanıyor. Korunan özellikler yükümlülük, operasyonel gruplar kalite meselesidir; ikisi aynı tabloda ölçülür.

Kesişimleri baştan listeleyin ama hepsini ölçmeye kalkmayın: iki eksenin çarpımı hızla ölçülemeyecek kadar küçük hücreler üretir. Pratik yol, zarar hipotezinde adı geçen eksenlerin kesişimlerini öncelikli listeye almak, kalanını raporda açıkça "ölçülmedi" olarak bırakmaktır.

Grup etiketi üç yoldan gelir: kişinin beyanı, kurumsal kayıttan türetme veya bir modelle tahmin. Üçünün hata profili farklıdır ve bu hata doğrudan ölçtüğünüz farkın içine karışır. Tahmin edilmiş etiketle hesaplanan bir fark gerçek farkı hem küçültebilir hem büyütebilir; hangisinin olduğunu etiket hatasını bilmeden söyleyemezsiniz.

Yayımlanan bir grup farkının en sık kaynağı gerçek bir eşitsizlik değil, küçük örneklemdir. Sıra şudur: önce grup başına örnek ve pozitif sayısını sayın, sonra o sayıyla ölçmek istediğiniz metriğin güven aralığının ne kadar geniş olduğunu hesaplayın. Aralık, karar vermek istediğiniz fark büyüklüğünden genişse o grup için sayı yayımlanmaz.

Belirleyici olan toplam kayıt sayısı değil, ölçtüğünüz olayın gruptaki sayısıdır. Yanlış negatif oranını ölçüyorsanız kritik değer gruptaki gerçek pozitif sayısıdır; grupta çok sayıda kayıt olsa bile gerçek pozitif sayısı bir avuçsa hesaplanan oran gürültüden ibarettir. Az olaylı gruplarda tek bir oranın aralığını yeniden örneklemeyle değil kapalı formlu bir yöntemle (Wilson ya da Clopper-Pearson) hesaplayın: olay sayısı sıfıra indiğinde yeniden örnekleme her turda aynı değeri çeker ve sıfır genişlikte bir aralık üretir; bu, en belirsiz grubu raporda en kesin grup gibi gösterir.

from math import sqrt


def oran_araligi(basari, toplam, z=1.96):
    """Oran icin Wilson araligi. Olay sayisi sifir oldugunda da araligi
    dogru genislikte verir; yeniden ornekleme bu ucta sifira coker."""
    if toplam == 0:
        return 0.0, 1.0
    oran = basari / toplam
    bolen = 1 + z**2 / toplam
    merkez = (oran + z**2 / (2 * toplam)) / bolen
    yari = z * sqrt(oran * (1 - oran) / toplam + z**2 / (4 * toplam**2)) / bolen
    return max(0.0, merkez - yari), min(1.0, merkez + yari)


for grup, (basari, toplam) in sayimlar.items():
    alt, ust = oran_araligi(basari, toplam)
    if (ust - alt) > kabul_edilen_belirsizlik:
        rapor[grup] = "olculemedi"
    else:
        rapor[grup] = (basari / toplam, alt, ust)

Doğrulama adımı: eşiği geçen ve geçmeyen grupları iki ayrı tabloda gösterin. "Ölçülemedi" satırının raporda görünür olması, o grubun iyi durumda olduğu izlenimini engeller — en sık yapılan raporlama hatası tam olarak budur.

Doğruluk gruplara bölündüğünde hatanın türü görünmez. İki grup aynı doğruluk değerine sahip olup biri neredeyse yalnızca yanlış pozitif, diğeri neredeyse yalnızca yanlış negatif üretiyor olabilir; bunlar tamamen farklı zararlardır. Bu yüzden grup başına hesaplanacak asgari küme yanlış pozitif oranı, duyarlılık ve kalibrasyon sapmasıdır.

Farkı iki biçimde birden verin: mutlak fark (iki grubun oranı arasındaki puan farkı) ve oransal fark (birinin diğerine bölümü). Küçük taban oranlarında oransal fark dramatik görünür ama mutlak etki küçük olabilir; büyük taban oranlarında tersi olur. Tek biçim seçmek, tartışmayı bulgu tartışmasından yöntem tartışmasına çevirir.

Gruplar arasında gerçek taban oranları farklıysa ve model kusursuz değilse — yani pratikte her gerçek sistemde — eşit kalibrasyon ile eşit hata oranlarını aynı anda sağlamak matematiksel olarak mümkün değildir. Bu bir mühendislik eksikliği değil, ispatlanmış bir kısıttır. Sonucu şudur: adillik ölçütü seçmek teknik bir ayar değil, kurumun hangi zarar türünü daha ağır bulduğunu ilan eden bir karardır.

İki grup arasındaki her fark bir bulgu değildir. Ölçtüğünüz fark için güven aralığı üretin ve aralık sıfırı içeriyorsa bunu raporda açıkça belirtin. Yeniden örnekleme, kapalı formülü olmayan bileşik büyüklüklerde — iki oranın farkı, kalibrasyon sapması — bu aralığı dağılım varsayımı yapmadan verir; doğru kullanım alanı budur. Tek bir oranın aralığı için küçük gruplarda uygun değildir: olay sayısı azaldıkça belirsizliği olduğundan dar gösterir.

• Farkı doğrudan yeniden örnekleyin: her turda gruplardan yerine koyarak örnek çekip farkı yeniden hesaplayın.
• Çok sayıda kesiti aynı anda karşılaştırıyorsanız, en büyük farkın rastlantı olma olasılığı artar; çoklu karşılaştırma düzeltmesi uygulayın.
• Aynı değerlendirme kümesinde onlarca kesit deneyip en çarpıcı olanı seçmeyin; bu bir bulgu değil arama sonucudur.
• Bulgunun bir sonraki değerlendirme kümesinde tekrarlanıp tekrarlanmadığına bakın; tekrarlanmayan fark rapora "doğrulanmadı" notuyla girer.

Fark bulundu; asıl riskli adım şimdi başlıyor. Her müdahale bir yerden alıp başka bir yere verir ve hiçbiri bedelsiz değildir. Müdahale kararı, seçilen yöntemin diğer gruplarda neyi bozduğu ölçülmeden verilmemeli; "düzelttik" cümlesi ancak müdahale sonrası tam tablo yeniden üretildiğinde kurulabilir.

Bir kez yapılan alt grup ölçümü bir fotoğraftır; üretimdeki dağılım kayar, kullanıcı kitlesi değişir, model sürümü güncellenir. Ölçümün değer üretmesi için sürüm geçişine bağlı, otomatik koşan bir kapıya dönüşmesi gerekir.

1. 1Sürüm adayı hazır

   Grup kırılımlı metrik seti aday sürüm üzerinde otomatik koşar.

2. 2Karşılaştırma

   Sonuçlar yürürlükteki sürümle grup grup kıyaslanır; yalnızca toplam skora bakılmaz.

3. 3Kapı

   Herhangi bir grupta önceden yazılmış eşiğin aşılması yayını durdurur.

4. 4İstisna

   Yayın yine de yapılacaksa gerekçe, onaylayan ve geri alma koşulu kayda geçer.

5. 5Üretim izlemesi

   Aynı kırılım üretim kararları üzerinde periyodik koşar; kayma uyarı üretir.

Eşikleri önceden yazın. Sonuç görüldükten sonra belirlenen eşik, eşik değil sonuca uydurulmuş bir açıklamadır; denetim raporlarında bu ikisini ayırt etmek beklenenden kolaydır çünkü eşiğin tarihi bellidir.