Ajan güvenliğinde asıl mesele yetki tasarımı
Dolaylı istem enjeksiyonu bir metin filtreleme sorunu değil; ajanın neye erişebildiğiyle ilgili bir mimari karar.
Responsible AI
AI güvenliği, bir modelin hem kasıtlı kötüye kullanıma hem de istenmeyen davranışa karşı nasıl davrandığını inceler; klasik yazılım güvenliğinden farkı, tehdit yüzeyinin modelin kendi çıktısı olmasıdır. Konu tek bir filtre değil bir yığın olarak kurulur: eğitimde hizalama, çalışma anında yetki kısıtı ve girdi-çıktı denetimi, yayın sonrasında izleme ve kırmızı takım. Model düzeyi ve sistem düzeyi savunmalar, saldırı sınıfları, şeffaflık ve adillik başlıkları, güvenlik ile yetenek arasındaki ödünleşimler bu başlığın altında toplanır.
Her alt konu kendi merkezine sahiptir; kavram, haber, ders ve test orada toplanır.
Dolaylı istem enjeksiyonu bir metin filtreleme sorunu değil; ajanın neye erişebildiğiyle ilgili bir mimari karar.
Koruma katmanı bir filtredir: metni okur, kural uyar mı diye bakar, geçirir veya durdurur. Yetki sınırlaması ise bir sınırdır: eylem yapısal olarak mümkün değildir. Filtre atlanmak için yeni bir zafiyet gerektirmez, yalnızca yeniden ifade gerektirir. Bu yüzden ikisi aynı katmanda sayılamaz — filtre gürültüyü azaltır, sınır hasarı tavanlar.
Kurumsal yapay zekâ yasakları çalışanların araç kullanmasını engellemiyor; kullanımı görünmez kılıyor. Yasak sonrası kullanım kişisel hesaplara, kişisel cihazlara ve denetlenmeyen arayüzlere kayıyor — yani veri sızıntısı riski azalmıyor, tam aksine kurumun hiç göremediği bir kanala taşınıyor. Doğru müdahale yasak değil, onaylı ve izlenebilir bir yol açmak.
Semantik komşuluk: bu konuyu anlamak için gereken veya ondan türeyen kavramlar.
Modelin akıcı ve kendinden emin biçimde, gerçekle uyuşmayan bilgi üretmesidir.
Yapay zekâ sistemlerinin adillik, şeffaflık, hesap verebilirlik, gizlilik ve güvenlik boyutlarını tasarım aşamasından itibaren yönetme yaklaşımıdır.
Aynı konunun öğretim ve ölçüm formatları.
Testler