Tek skor karar vermez; karar bir eşik kümesiyle verilir

Tez#

Tek skora indirgeme baskısı yönetsel bir ihtiyaçtan doğuyor ve bu ihtiyaç meşru: bir yönetim kurulu sunumunda on iki ölçü gösterilemiyor, karar bir sayıya ihtiyaç duyuyor. Bu yüzden ekipler ağırlıklı ortalama kuruyor ve panoya tek bir yüzde yazıyor.

Sorun, ortalamanın ne yaptığında. Ağırlıklı ortalama, ölçüleri birbirine dönüştürülebilir sayıyor: ağırlık, bir boyutta kaybedilen puanın başka boyutta kazanılan puanla değiştirilebileceğini söylüyor. Bazı ölçüler için bu doğru — özetleme kalitesindeki küçük bir düşüş, biçim uyumundaki bir kazançla telafi edilebilir. Ama bazı ölçüler için tümüyle yanlış: bir modelin zararlı içerik üretme oranındaki artış, doğruluk kazancıyla telafi edilmiyor. Bu iki tür ölçü aynı ortalamaya girdiğinde, ortalama ikinci türü görünmez kılıyor — özellikle ikinci türün ağırlığı küçükse.

Bağlam: ölçüleri sınıflandırmak#

Doğru pano, ölçüleri karar rolüne göre ayırıyor. Aynı panoda üç farklı rol var ve üçü aynı biçimde okunmuyor.

İkinci satırdaki eşik ölçülerinin bir özelliği sık atlanıyor: aşımı ödüllendirilmiyor. Kaynak doğruluğunda yüzde doksan beş yeterliyse, yüzde doksan dokuza çıkmak bir başka boyuttaki kaybı telafi etmiyor — sadece iyi. Ortalama ise aşımı puan olarak sayıyor ve bir boyutta gereksiz mükemmellikle başka boyuttaki yetersizliği gizleyebiliyor. Bu, panoların en sessiz hatası.

Kanıt: eşik kümesi nasıl kurulur#

Eşik kümesi kurmanın zor yanı teknik değil kurumsal: eşikleri kim belirler ve kim veto hakkına sahiptir. Aşağıdaki sıra bu kararı somutlaştırıyor.

1. 01Veto listesini kısa tutun: dört beş maddeyi geçen bir veto listesi hiç yayın yapılamaz hâle getiriyor ve sonunda esnetiliyor.
2. 02Her veto maddesine bir ölçüm yolu yazın: ölçülemeyen veto, tartışmada kaybediyor. "Zararlı içerik" değil, "şu kırmızı takım setinde sıfır ihlal".
3. 03Eşikleri yayın öncesinde sabitleyin: sonuçlar görüldükten sonra belirlenen eşik, eşik değil gerekçe.
4. 04Aşımı puan saymayın: eşik ölçüsünde hedefin üzerine çıkmak başka boyuttaki kaybı telafi etmez.
5. 05Denge ölçülerinde ağırlığı açıkça yazın: gizli ağırlık, tartışılamayan bir değer yargısı taşıyor.
6. 06Eşik ihlalinde yolu tanımlayın: kim karar verir, hangi belge yazılır, hangi koşulla istisna tanınır?

Üçüncü madde en çok ihlal edilen ve en belirleyici olan. Eşikler sonuçlar görüldükten sonra belirlendiğinde, mekanizma tersine dönüyor: sayıya göre eşik seçiliyor ve pano bir karar aracı olmaktan çıkıp verilmiş kararın gerekçesi hâline geliyor. Bunu engellemenin tek yolu eşikleri ölçümden önce yazılı hâle getirmek — ve yazılı olanı değiştirmenin ayrı bir kaydı olması.

Mekanizma: ortalamanın gizlediği dağılım#

Ortalamanın ikinci sorunu, ölçü türlerini karıştırmasının ötesinde: aynı ölçü içinde de dağılımı gizliyor. Yüzde doksan beş doğruluk, iki tümüyle farklı dağılımdan çıkabiliyor.

Birinci dağılımda hatalar rastgele ve her kullanıcı tipine eşit dağılmış. İkinci dağılımda hataların neredeyse tamamı belirli bir kullanıcı grubunda toplanmış — örneğin belirli bir dilde yazanlarda, belirli bir sektörden gelen sorularda ya da belirli bir belge türünde. İki dağılımın ortalaması aynı ama ürün sonuçları tümüyle farklı: ikincisinde o grup için sistem kullanılamaz hâlde ve bu, ortalamada görünmüyor. Bu yüzden her eşik ölçüsü alt gruplarda ayrıca raporlanmalı ve en kötü alt grup, kendi eşiğine sahip olmalı. Türkçe içerikte bu özellikle önemli: bir sistemin genel doğruluğu yüksek olup Türkçe girdilerde belirgin biçimde düşük olabiliyor ve genel ortalama bunu tümüyle saklıyor.

Karşı görüş#

Üç itiraz ciddi. Birincisi: çok ölçülü panolar karar felcine yol açıyor; kimse on iki sayıya bakıp karar veremiyor. İkincisi: tek skor karşılaştırma için gerekli — iki model arasında seçim yapmanın başka yolu yok. Üçüncüsü: veto listesi pratikte hiçbir şeyin yayımlanmamasına yol açıyor.

Sekiz ölçülü bir pano kurduk ve üç ay boyunca hiçbir yayın kararı verilemedi; her toplantıda başka bir ölçü kırmızıydı. Sonra üçünü veto, üçünü eşik yaptık, ikisini ortalamaya bıraktık. Karar bir haftada verilir hâle geldi.

Alıntı birinci ve üçüncü itirazın haklı yanını ve çözümünü birlikte gösteriyor: sorun ölçü sayısı değil, ölçülerin rolünün belirsizliği. Rolü tanımlanmış sekiz ölçü, rolü tanımlanmamış üç ölçüden kolay yönetiliyor. İkinci itiraz için ayrım gerekiyor: karşılaştırma ile karar farklı işler. İki model arasında bir tercih sıralaması yapmak için tek skor yararlı olabilir; ama yayın kararı bir sıralama değil bir kapı — ve kapıda veto ölçüleri sıralamaya girmez, tek başına durdurur. Aynı panoda iki işi karıştırmak, kapıyı bir sıralamaya indirmek demek.

Sınırlar ve belirsizlik#

Bu analiz belirli eşik değerleri önermiyor; eşikler ürüne, alana ve risk iştahına bağlı.

• Eşik değerleri kurumsal karar: teknik bir tablodan çıkarılamıyor, risk iştahıyla belirleniyor.
• Veto listesinin uzunluğu deneyimle ayarlanıyor: fazla uzun liste esnetiliyor, fazla kısa liste koruma sağlamıyor.
• Alt grup tanımı editoryal: hangi grupların ayrı raporlanacağı ürünün kullanıcı dağılımına bağlı.
• Ölçüm gürültüsü eşik kararını etkiliyor: küçük setlerde eşik ihlali istatistiksel gürültü olabilir.

Sonuç#

Tek skor, panoyu okunur kılıyor ama kararı bozuyor: birbirine dönüştürülemeyen ölçüleri toplayarak bir güvenlik ihlalini bir doğruluk kazancıyla takas edilebilir hâle getiriyor. Aynı zamanda alt grup dağılımını gizliyor ve belirli bir kullanıcı grubu için kullanılamaz bir sistemi yeşil gösteriyor.

Düzeltme karmaşık değil: ölçüleri üç role ayırmak — veto, eşik, denge — ve yalnızca üçüncüyü ortalamaya sokmak. Eşikleri ölçümden önce yazılı hâle getirmek. En kötü alt grubu ayrıca raporlamak. Bu üç adım pano sayısını artırmıyor, panonun ne söylediğini belirginleştiriyor; ve karar felcinin nedeni ölçü sayısı değil, rol belirsizliği.

Ne yapmalı?#

1. 1Ölçüleri üç role ayırın

   Veto, eşik, denge. Yalnızca denge ölçüleri ağırlıklı ortalamaya girer.

2. 2Veto listesini kısa ve ölçülebilir tutun

   Dört beş maddeyi geçmesin ve her maddenin somut bir ölçüm yolu olsun.

3. 3Eşikleri ölçümden önce yazın

   Sonuç görüldükten sonra belirlenen eşik, eşik değil gerekçe. Değişikliğin ayrı kaydı olsun.

4. 4Aşımı puan saymayın

   Eşik ölçüsünde hedefin üzerine çıkmak başka boyuttaki kaybı telafi etmiyor.

5. 5En kötü alt grubu raporlayın

   Aynı ortalama, hataların tek grupta toplandığı bir dağılımdan da çıkabiliyor.

6. 6İhlal yolunu tanımlayın

   Eşik aşıldığında kim karar verir, hangi belge yazılır, istisna hangi koşulla tanınır?