Model kararını açıklanabilir kılmak

Açıklanabilirlik çalışmalarının çoğu, kimin ne için okuyacağı yazılmadan yönteme geçildiği için tıkanıyor. Aynı karar için farklı yüzeyler gerekir ve bu yüzeyler farklı bilgiye, farklı ayrıntı düzeyine ve farklı hukuki yükümlülüğe sahiptir. Önce şu cümle tamamlanır: "Bu açıklamayı [kim], [hangi kararı vermek] için okuyacak."

Sonradan açıklama üretmek her zaman bir yaklaşıklıktır: gerçek modelin davranışını taklit eden ikinci bir anlatı kurarsınız. Doğrudan okunabilir bir model — sınırlı derinlikte bir karar ağacı, toplamsal bir model, bir puan kartı — bu yaklaşıklığı ortadan kaldırır, çünkü açıklama modelin kendisidir.

Karar şu ölçümle verilir: aynı değerlendirme kümesinde okunabilir modelin başarım kaybı ne kadar? Kayıp, kararın doğurduğu zarara kıyasla küçükse okunabilir model tercih edilir. Yüksek riskli ve itiraza açık kararlarda bu ölçüm yapılmadan karmaşık modele geçmek, sonradan telafisi pahalı bir açıklanabilirlik borcu üretir.

"Bu başvurunun gelir alanı kararı olumlu yönde itti" cümlesi, ancak "neye göre" sorusunun cevabı sabitlendiğinde anlam taşır: ortalama başvuruya göre mi, gelir alanı boş bırakılmış bir başvuruya göre mi, yoksa benzer profildeki başvurulara göre mi? Bu seçim değiştiğinde ağır basan etkenlerin sırası da değişebilir.

Dayanak noktası seçenekleri#

• Eğitim kümesi ortalaması: genel ve kararlıdır; ama hiçbir gerçek vakaya benzemeyen yapay bir referans üretir.
• Alanı yok sayma: "bu bilgi hiç olmasaydı" sorusunu sorar; eksik veriye kendi başına anlam yükleyen modellerde yanıltır.
• Benzer vakalar kümesi: en anlaşılır cümleyi üretir ("benzer başvurulara göre"); benzerlik tanımını da açıklamanız gerekir.
• Karar eşiği: "onaya en yakın hâle göre" okunur; itiraz sürecinde en işe yarayan referans budur.

Hangisini seçerseniz seçin, seçimi belgeye yazın ve sürümleyin. Dayanak noktası sessizce değiştiğinde bütün açıklamalar değişir, kimse nedenini bilmez ve güven tek seferde kaybedilir.

Karşıolgusal örnek, "karar neden böyle" sorusundan daha faydalı bir soruya cevap verir: "ne değişseydi sonuç değişirdi". Ama kısıtsız bırakılan bir karşıolgusal arama matematiksel olarak en kolay yolu bulur ve o yol çoğu zaman kişinin değiştiremeyeceği bir alandan geçer.

• Değiştirilemez alanları kilitleyin: yaş, doğum yeri ve geçmiş tarihli olaylar arama uzayının dışında kalır.
• Yön kısıtı koyun: bazı alanlar yalnızca tek yöne değişebilir; kıdem azalmaz, geçmiş ödeme sayısı geri gitmez.
• Gerçekçilik kısıtı koyun: alanlar birbirinden bağımsız değildir, birini değiştirmek diğerini de değiştirir.
• Maliyet tanımlayın: arama en küçük sayısal mesafeyi değil, kişi için en düşük çabayı hedeflemelidir.

Sadakat, açıklamanın modelin gerçek davranışını ne kadar yansıttığıdır ve kullanıcının açıklamayı beğenmesiyle hiçbir ilgisi yoktur. Akla yatkın ama sadakatsiz bir açıklama en tehlikeli çıktıdır: yanlış bir kararı savunulabilir gösterir ve itiraz etmeyi zorlaştırır.

Bozma testi#

Yöntem basittir: açıklamanın en önemli dediği girdileri sırayla bozun — nötr değere çekin ya da karıştırın — ve kararın ne kadar hızlı değiştiğine bakın. Sonra aynı sayıda girdiyi rastgele seçip aynı işlemi yapın. Açıklamanın işaret ettiği girdiler kararı rastgele seçilenlerden belirgin biçimde daha hızlı değiştirmiyorsa, sıralama bilgi taşımıyor demektir.

Testi tek vakada değil bir vaka kümesinde koşturun ve sonucu tek sayı olarak değil dağılım olarak saklayın. Sadakat model sürümüyle değişir; sürüm geçişlerinde yeniden ölçülmeyen bir sadakat iddiası, ölçülmemiş sayılır.

Kişi iki farklı gün iki farklı gerekçe duyarsa, oluşan güven kaybı kararın kendisinden daha büyük olur. Bu yüzden açıklama yüzeyi açılmadan önce kararlılık sınanır: kararın değişmediği yerde açıklamanın da büyük ölçüde aynı kalması beklenir.

1. 01Aynı girdiyi tekrar açıklatın: örnekleme içeren yöntemlerde tohum sabitlenmezse sonuç koşudan koşuya oynar.
2. 02Girdiye kararı çevirmeyecek küçük gürültü ekleyin ve açıklamanın ne kadar kaydığını ölçün.
3. 03Birbirine yakın iki vakayı karşılaştırın: yakın girdiler yakın açıklamalar üretmeli; üretmiyorsa sınır bölgesindesiniz ve bunu arayüzde belirtin.
4. 04Kasıtlı zorlayın: kararı çevirmek isteyen biri hangi alanı oynatırdı? O alan dışa açık açıklamada ne kadar görünmeli?

Bir açıklama iki şeyi birden söylemek zorundadır: ne gösterdiğini ve neyi göstermediğini. Katkı değerleri modelin ağırlığını gösterir, dünyadaki nedensel etkiyi değil. Birbirine bağlı iki girdi katkıyı aralarında paylaşır; ikisi de tek başına "önemsiz" görünebilir ve bu, o bilginin karara girmediği anlamına gelmez.

Dışa açılan yüzeyde katkı çubukları ve ondalıklı sayılar işe yaramaz; çoğu okur bunları bir kesinlik işareti olarak okur ve yanlış sonuca varır. Metne çevirirken üç bileşen yeterlidir: kararın ne olduğu, ağır basan etkenler ve neyin değişmesi hâlinde sonucun değişebileceği.

• Etken sayısını sınırlayın: üçten fazla etken kişiye seçenek değil belirsizlik verir.
• Alan adını değil anlamını yazın: "oran_03 yüksek" değil, "son altı aydaki gecikme sayısı".
• Sayıyı yönle değiştirin: ondalıklı bir katkı değeri yerine "bu etken kararı olumsuz yönde etkiledi".
• İtiraz yolunu aynı ekranda verin: açıklama, itiraz kanalı olmadan yalnızca bir bildirimdir.

Bir açıklamanın işe yarayıp yaramadığı, okuyan kişinin bir sonraki adımda ne yapacağını bilip bilmemesiyle ölçülür.

Açıklama, üretildiği anın ürünüdür: o model sürümü, o girdi, o yapılandırma. Bunlar saklanmazsa aynı açıklama aylar sonra yeniden üretilemez ve bir itiraz geldiğinde elinizde yalnızca bir ekran görüntüsü kalır.

• Model ve açıklama yöntemi sürümü: ikisi ayrı sürümlenir, birlikte kaydedilir.
• Girdi anlık görüntüsü: karar anındaki değerler; sonradan güncellenmiş kayıt değil.
• Dayanak noktası ve kısıt listesi: karşıolgusalın hangi kurallarla üretildiği.
• Zaman damgası ve kararı uygulayan kişi: insan devreye girdiyse müdahalesi de kayda geçer.