Hata deneyimi ve geri alma tasarımı
Modelin yanılacağı kabulüyle arayüz tasarlamayı öğretir: belirsizliği kullanıcıya yarayan sinyallerle göstermek, onay kipini eylemin geri alınabilirliğine göre seçmek ve geri alma yolunu ürünün parçası yapmak.
Önkoşul: Responsible AI, Evaluation
BU DERSİN SONUNDA
- Belirsizliği ham güven puanı yerine kullanılabilir sinyallere çevirmek
- Onay kipini eylemin geri alınabilirliğine göre seçmek
- Hata sınıfı başına bir arayüz karşılığı tanımlamak
- Aşırı reddetme ile güvenlik arasındaki ödünleşimi kaçış yolu tasarlayarak yönetmek
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Hata deneyimi, modelin yanılacağı varsayımıyla çalışan arayüz tasarımıdır ve üç iş yapar: hatayı kullanıcının fark edebileceği hale getirir, düzeltmeyi sıfırdan üretmekten ucuz kılar, geri alma yolunu açık tutar. Ham bir güven yüzdesi göstermek bunların hiçbirini yapmaz; kullanıcıya yarayan sinyaller kaynak gösterimi, kapsama beyanı, seçenek çokluğu ve açık bir devretme yoludur.
Teori: üç katman#
Hatanın bedeli üç yerde azaltılabilir. Birincisi görünürlük: kullanıcı neyin model tarafından üretildiğini, hangi kaynağa dayandığını ve neyin dışarıda kaldığını görebiliyorsa hatayı yakalayabilir. İkincisi düzeltme maliyeti: çıktıyı düzeltmek sıfırdan yazmaktan pahalıysa özellik net bir zarardır, yani düzenlenebilirlik bir güvenlik önlemidir. Üçüncüsü geri alma: hata dışarı çıktıktan sonra bile geri alınabiliyorsa kalan bedel küçülür.
Bu üç katman birbirinin yerine geçmez ama birbirini kısmen ikame eder: geri alması kolay bir eylemde görünürlük daha az yük gerektirir, geri alınamaz bir eylemde görünürlük ve onay yükü artar. Tasarım sorusu bu yüzden "ne kadar uyarı gösterelim" değildir; doğru soru şudur: eylemin geri alınabilirliği hangi onay kipini zorunlu kılıyor?
Belirsizliği göstermenin doğru yolu#
Modelin ürettiği güven puanı, kalibre edilmediği sürece kullanıcıya bir şey söylemez; dahası bir sayı görmek güveni artırır, çünkü ölçülmüş izlenimi verir. Kalibrasyonun anlamı basittir: yüzde yetmiş dediği durumların yaklaşık yüzde yetmişinde haklı çıkması. Bu kontrol kendi verinizle yapılmadıysa sayı gösterilmez. Kullanıcıya asıl yarayan şey, çıktının nereden geldiğini ve neyin kapsam dışında kaldığını görebilmektir.
- Kaynak gösterimi: iddianın dayandığı parçayı tek tıkla açın; kullanıcı doğrulamayı kendi yapabilsin.
- Kapsama beyanı: hangi belgelerde ve hangi tarih aralığında arandığını yazın; sessizce dar bir kümede aramak en yanıltıcı davranıştır.
- Seçenek çokluğu: tek cevap yerine birkaç aday sunmak, belirsizliği sayı yazmadan gösterir ve seçim aynı anda etiket üretir.
- Açık devretme yolu: modelin "bunu güvenle yapamıyorum" diyebileceği ve işi insana aktarabileceği bir yol her zaman bulunsun.
- Fark gösterimi: model mevcut bir metni değiştiriyorsa neyi değiştirdiğini fark olarak gösterin, yeni metni sessizce yerine koymayın.
Hata sınıfına göre arayüz karşılığı#
| Hata sınıfı | Arayüz karşılığı | Neyi engeller |
|---|---|---|
| Uydurma | Kaynak bağlantısı ve kapsama beyanı | Doğrulanmamış iddianın gerçek gibi geçmesi |
| Sessiz yanlışlık | Fark gösterimi ve alan bazlı onay | Biçimsel olarak doğru çıktının denetimsiz geçmesi |
| Biçim ihlali | Şema doğrulaması, yeniden deneme, açık başarısızlık | Yarım verinin aşağı akışa sızması |
| Aşırı reddetme | Gerekçe ve alternatif yol | Kullanıcının ürünü terk etmesi |
| Talimat kaçırma | Dış içeriğin veri olarak işaretlenmesi ve eylem onayı | Girdideki metnin kullanıcı adına eylem tetiklemesi |
| Geri alınamaz eylem | İki adımlı onay ve gecikmeli gönderim kuyruğu | Tek tıkla kalıcı hasar |
Karar: onay kipi seçimi#
- 1Eylemi geri alınabilirliğe göre etiketleyin
Geri alınabilir, telafi edilebilir, geri alınamaz. Etiket eylemin kendisine aittir, modelin güvenine değil.
- 2Geri alınabilir eylemde otomatik ilerleyin
Onay istemeyin, geri alma düğmesini görünür tutun ve işlemi kayda geçirin.
- 3Telafi edilebilir eylemde önizlemeli onay koyun
Ne olacağını sonucun kendisi biçiminde gösterin; onay metni açıklama değil, sonucun önizlemesi olsun.
- 4Geri alınamaz eylemde iki adım ve bekleme koyun
Ayrı bir doğrulama adımı ve iptal edilebilir bir bekleme penceresi; bu kipte örneklem denetimi de zorunludur.
Sık yapılan hata#
En yaygın hata, hata deneyimini bir uyarı metnine indirmek. "Yapay zekâ hata yapabilir, kontrol edin" cümlesi ne sorumluluğu devreder ne davranışı değiştirir; birkaç kullanımdan sonra görülmez hale gelir. İkinci yaygın hata, belirsizliği renkli bir güven göstergesine çevirip kalibrasyonu hiç kontrol etmemek. Üçüncüsü, güvenliği yalnızca sıkılaştırarak sağlamak: kaçış yolu bırakılmayan bir reddetme akışı kullanıcıyı ürünün dışına, denetlenmeyen araçlara iter.
LAB · UYGULAMALI ALIŞTIRMA
Hata deneyimi tablonuzu ve onay kiplerini yazın
- 1Ürününüzün model çıktısı ürettiği veya bir eylem başlattığı tüm noktaları listeleyin; her satıra tek bir nokta yazın.
- 2Her noktayı geri alınabilirliğe göre etiketleyin: geri alınabilir, telafi edilebilir, geri alınamaz. Etiketi eylemin kendisine bakarak verin.
- 3Etikete göre olması gereken onay kipini yazın ve bugünkü arayüzle karşılaştırın; uyuşmayan satırları işaretleyin.
- 4Dördüncü bölümde topladığınız gerçek hata örneklerini hata sınıflarına dağıtın ve her sınıf için bugünkü arayüz karşılığını yazın; karşılığı olmayan sınıfları boş bırakın.
- 5Boş kalan her sınıf için tek bir somut arayüz değişikliği önerin ve önerinin hangi katmanda çalıştığını yazın: görünürlük, düzeltme maliyeti, geri alma.
- 6En az bir kullanıcıyla hata anını canlandırın: kasten yanlış bir çıktı gösterin, kullanıcının ne yaptığını izleyin ve fark edip etmediğini not alın.
Beklenen çıktı
Eylem noktası başına geri alınabilirlik etiketi ve onay kipi eşlemesi, hata sınıfı başına arayüz karşılığı ve boş kalan sınıflar için değişiklik önerileri.
Sık sorulan sorular
Güven yüzdesi göstermek her zaman yanlış mı?
Yanlış değil, koşullu. Kalibrasyonu kendi verinizle kontrol ettiyseniz ve kullanıcı o sayıya bakarak gerçekten farklı davranacaksa gösterilebilir. Kontrol edilmemiş bir sayı ise gürültüden kötüdür: ölçülmüş izlenimi verdiği için kullanıcının kendi denetimini gevşetir.
Onay adımı eklemek ürünü yavaşlatmıyor mu?
Yavaşlatır ve bu bilinçli bir ödünleşimdir. Kural şudur: yavaşlığın bedeli her istekte ödenir, hatanın bedeli seyrek ödenir; ama geri alınamaz bir hatanın tek seferlik bedeli, toplam onay maliyetini aşabilir. Bu yüzden onay kipi eylem başına seçilir, ürünün tamamına aynı kip uygulanmaz.
Reddetme davranışını gevşetmek riski artırmaz mı?
Gevşetmek ile yol açmak farklı şeylerdir. Meşru bir isteği reddeden akışa alternatif bir yol koymak — daraltılmış bir cevap, gerekçe, insana devretme — riski artırmaz, kullanıcıyı denetlenen akışın içinde tutar. Riski artıran şey kırmızı çizgileri gevşetmektir; onlar arayüz kararı değildir.
LEARN
AI Product Manager rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.