Responsible AI
Hizalama (alignment), modelin davranışını insan tercihleri ve açıkça yazılmış kurallarla uyumlu hâle getirme çalışmasıdır; RLHF, tercih optimizasyonu ve yazılı ilkelerle eğitim bu alanın araçlarıdır. Zorluk ölçütün kendisinin belirsiz olmasıdır: neyin "yardımcı" ya da "zararsız" sayıldığı bağlama göre değişir, ödül sinyali kolayca kısayol üretir ve aşırı temkinli bir model de kullanışsız olur. Eğitim sonrası hizalama yöntemleri, ödül modelleme, aşırı reddetme ile fazla uyumluluk arasındaki denge ve hizalamanın ölçümü buraya bağlanır.
Modelin eğitimle kazandığı davranış sınırları — zararlı isteği reddetmesi, talimatlara uyması — bir güvenlik katmanı gibi kullanılıyor. Ama bu sınırlar olasılıksal, sürüme duyarlı ve girdiyle etkilenebilir. Uygulama güvenliği ise deterministik kontrollere dayanıyor: yetki denetimi, giriş doğrulama, çıktı maskeleme. İkincisi birincinin yerine geçebiliyor; birincisi ikincinin yerine geçemiyor.
Semantik komşuluk: bu konuyu anlamak için gereken veya ondan türeyen kavramlar.
Modelin akıcı ve kendinden emin biçimde, gerçekle uyuşmayan bilgi üretmesidir.
Yapay zekâ sistemlerinin adillik, şeffaflık, hesap verebilirlik, gizlilik ve güvenlik boyutlarını tasarım aşamasından itibaren yönetme yaklaşımıdır.
Aynı konunun öğretim ve ölçüm formatları.
