Responsible AI
Yorumlanabilirlik (interpretability) bir modelin çıktısını değil içindeki hesabı açmaya çalışır: hangi özelliklerin temsil edildiği ve hangi devrelerin (circuit) belirli bir davranışı ürettiği. Mekanistik yorumlanabilirlik bu soruyu devre düzeyinde ele alıyor; seyrek otokodlayıcılar ve transkoderler, üst üste binmiş (superposition) aktivasyonları insanın okuyabileceği özelliklere ayırmayı hedefliyor. Alan niş bir araştırma gündeminden model denetimi, hata ayıklama ve güvenlik incelemesi disiplinine doğru geçiyor. Devre analizi, özellik çıkarımı, nedensel müdahale deneyleri ve yorumlanabilirliğin açıklanabilirlikten farkı bu başlıkta ele alınır.
Bir modelin iç işleyişini anlamak ile bir kararın gerekçesini sunmak iki farklı iş. Birincisi araştırma alanı: mekanizmanın ne olduğunu çözmek. İkincisi ürün gerekliliği: kullanıcıya ya da denetleyiciye bir gerekçe vermek. Karıştırıldığında ortaya çıkan şey en tehlikeli sonuç — makul görünen ama modelin gerçek işleyişiyle ilgisi olmayan bir açıklama.
Semantik komşuluk: bu konuyu anlamak için gereken veya ondan türeyen kavramlar.
Modelin akıcı ve kendinden emin biçimde, gerçekle uyuşmayan bilgi üretmesidir.
Yapay zekâ sistemlerinin adillik, şeffaflık, hesap verebilirlik, gizlilik ve güvenlik boyutlarını tasarım aşamasından itibaren yönetme yaklaşımıdır.
Aynı konunun öğretim ve ölçüm formatları.
