Risk matrisi, insan gözetimi ve uyum dosyası

Teori: riskin iki ekseni#

Klasik olasılık × etki matrisi burada zayıf kalır, çünkü olasılık tarafı ölçülmeden bilinmez ve ölçüldükten sonra da sabit kalmaz: girdi dağılımı kullanıcı tabanı büyüdükçe kayar, model veya istem güncellenince hata profili değişir. Tahmini sürekli kayan bir sayıyı tasarımın dayanağı yapmak, kararı her ölçümde yeniden açar.

Buna karşılık iki eksen ölçüm yapılmadan bilinir ve ürün kararıyla değiştirilebilir. Geri alınabilirlik, hatanın düzeltilme maliyetidir: kullanıcı bir tıkla düzeltiyor mu, yoksa çıktı bir kayda, bir dış mesaja ya da bir para hareketine mi dönüşmüş? Etki genişliği, hatanın kaç kişiye ulaştığıdır: tek kullanıcının ekranında mı kaldı, tüm kullanıcılara giden bir şablona mı işlendi, üçüncü bir tarafa mı gitti? Ürün yöneticisinin kontrol ettiği şey hata oranı değil, özelliğin bu iki eksendeki yeridir; taslak üretmek ile göndermek arasındaki fark bir tasarım kararıdır.

Uygulamada: hata sınıfı ve gözetim eşlemesi#

İnsan gözetimi üç biçimde kurulur#

• Döngüde insan: her çıktı yayına girmeden önce onaylanır. Geri alınamaz eylemler için tek makul biçim; kapasite maliyeti çıktı hacmiyle doğrusal artar.
• Döngü üstünde insan: çıktılar otomatik akar, yalnızca güven eşiğinin altındakiler ve rastgele bir örneklem insana düşer. Ölçeklenir, ama eşik ve örneklem oranı ölçüme dayanmalıdır.
• Döngü dışında insan: karar otomatik verilir, sonradan denetlenir ve itiraz kanalı açıktır. Yalnızca geri alınabilir ve tek kullanıcıyı etkileyen kararlar için savunulabilir.
• Gözetimin reddi: özellik o senaryoda sunulmaz. Bu da geçerli bir tasarım kararıdır; kapsamı daraltmak, sürdürülemeyecek bir gözetim kurmaktan çoğu zaman ucuzdur.

Karar: hata sınıfından sürüm kararına#

1. 1Gerçek hata sınıflarını çıkar

   Olay kayıtları ve değerlendirme setindeki başarısız örnekler üzerinden etiketle; sınıfları varsayımla değil gözlemle tanımla.

2. 2Her sınıfı iki eksene yerleştir

   Geri alınabilirlik ve etki genişliği. En kötü köşeye düşen sınıflar özelliğin kapsamını belirler, tersi değil.

3. 3Gözetim biçimini seç ve yükünü hesapla

   Beklenen çıktı hacmi × gözetim oranı × inceleme süresi. Yükü yazılmayan gözetim uygulamada uygulanmaz.

4. 4Kabul eşiğini gözetimle birlikte belirle

   Eşik tek başına anlamsızdır; eşiğin altında kalan vakaların nereye gittiği tanımlıysa eşik daha düşük tutulabilir.

5. 5Kararı ve kalan riski yaz

   Hangi sürüm, hangi ölçüm, hangi tarih, hangi kalan risk kabul edildi ve bu kabulü hangi rol verdi.

Uyum dosyası ne taşır?#

• Amaç ve kapsam: özelliğin ne yaptığı ve açıkça ne yapmadığı.
• Değerlendirme yöntemi: görev seti nasıl kuruldu, kabul eşiği nedir, son ölçüm hangi tarihte yapıldı.
• Bilinen sınırlar: hangi girdi tiplerinde başarısız oluyor, elinizdeki gerçek başarısızlık örnekleriyle.
• Gözetim tasarımı: hangi sınıfta hangi biçim, devreye girme eşiği ve gözetimi yapan rol.
• Kalan risk ve kabul: hangi risk kabul edildi, kim kabul etti, ne zaman yeniden değerlendirilecek.
• Geri bildirim ve itiraz kanalı: kullanıcı nereye başvurur, başvuru hangi sürede kapanır.

Sık yapılan hata#

En yaygın hata, riski yayın öncesi bir kez geçilen kapı saymaktır. Model ve istem hiç değişmese bile girdi dağılımı, kullanım biçimi ve bağlı sistemler değişir; bu yüzden risk kararı bir tarih taşır ve tazelenir. İkinci yaygın hata, dosyayı tamamen hukuk veya uyum biriminin işi saymaktır. Hangi hata sınıflarının gerçekten oluştuğunu yalnızca ürün ekibi görür; uyum birimi bu girdiyi alıp yükümlülüğe çevirir, üretmez.