Koruma katmanı yetki sınırlamasının yerine geçmez

Tez#

Yapay zekâ güvenliği tartışmalarında iki farklı mekanizma sık sık aynı kutuya konuyor: koruma katmanı ve yetki sınırlaması. İkisi de "güvenlik önlemi" olarak sayılıyor, denetim listelerinde yan yana duruyor ve bir sistemin "güvenli" sayılması için ikisinden birinin varlığı yeterli görülüyor. Bu eşitleme, savunmayı olduğundan güçlü gösteriyor.

Fark kategorik. Koruma katmanı olasılıksal bir mekanizmadır: bir metni okur, öğrendiği ya da yazılan kurallara göre karar verir ve o kararın doğruluğu girdinin hangi biçimde geldiğine bağlıdır. Yetki sınırlaması ise yapısaldır: bir araç o bağlamda tanımlı değilse çağrılamaz, bir hesap o kaynağa erişim iznine sahip değilse okuyamaz. Birincisi yanılabilir, ikincisi yanılmaz — ikincisi yanılırsa bu bir yapılandırma hatasıdır, bir kaçırma değil.

Bağlam: iki mekanizmanın karşılaştırması#

Aşağıdaki tablo iki mekanizmayı güvence türü, atlanma biçimi ve uygun kullanım alanı üzerinden karşılaştırıyor. Amaç filtreyi küçümsemek değil; ikisinin farklı işler yaptığını göstermek.

Üçüncü satır çoğu ekibin hiç düşünmediği fark. Bir filtre yanlış negatif verdiğinde — yani kötü niyetli girdiyi geçirdiğinde — hiçbir uyarı üretmez; sistem normal çalışmış gibi görünür. Yetki reddi ise her zaman bir olay kaydı bırakır. Bu, güvenlik operasyonu açısından belirleyici: yetki tabanlı savunma kendi kendini gözlemlenebilir kılar, filtre tabanlı savunma gözlemlenemez biçimde başarısız olur.

Kanıt: filtrenin doğru yeri#

Bu tez filtreleri kaldırmayı önermiyor. Filtrenin gerçek ve ölçülebilir faydaları var; yalnızca bu faydalar bir sınır güvencesi değil.

• Saldırı maliyetini artırır: kaba denemeler engellenir, saldırganın uğraşması gerekir. Fırsatçı saldırıları büyük ölçüde eler.
• İz bırakır: engellenen her girdi bir kayıt üretir; bu kayıtlar saldırı desenlerini görmenin tek yolu.
• Kazayı önler: kötü niyet olmadan da istenmeyen çıktı üretilebilir. Filtre bu sınıfı iyi yakalar.
• Uyum kanıtı sağlar: belirli içerik türlerinin engellendiğini göstermek denetimde gerekli olabilir.
• Ölçülebilir: yakalama oranı ve yanlış pozitif oranı raporlanabilir — bir sınırda bu ölçümler anlamsızdır, filtrede anlamlıdır.

Üçüncü madde özellikle önemli çünkü en sık gerçekleşen senaryo. Üretimde gözlenen istenmeyen çıktıların büyük bölümü saldırı değil kaza: kullanıcı yanlış bir şey soruyor, model uygunsuz bir şey üretiyor, sistem onu kullanıcıya gösteriyor. Bu sınıf için filtre doğru ve yeterli araç. Karıştırılmaması gereken şey, aynı filtrenin kararlı bir saldırgana karşı da yeterli sayılması.

Mekanizma: katmanların doğru sıralanışı#

Katmanlı savunma doğru kurulduğunda filtre ve yetki birbirini tamamlıyor ama sıraları önemli. Yetki en içte, filtre en dışta olmalı — tersi durumda filtre atlandığında arkada bir şey kalmıyor.

1. 1En içte: yetki modeli

   Hangi araç hangi bağlamda çağrılabilir, hangi hesap hangi kaynağa erişebilir? Bu katman aşılmaz olmalı; aşılıyorsa bu bir yapılandırma hatasıdır.

2. 2İkinci katman: geri alınabilirlik kapısı

   Geri alınamaz eylemler insan onayı ister. Ölçüt kötü niyet değil, hatanın maliyetidir.

3. 3Üçüncü katman: çıkış kısıtı

   Veri sızması bir çıkış yolu gerektirir. Ajanın dışarıya veri gönderebileceği kanallar beyaz listeyle sınırlanır.

4. 4En dışta: içerik filtresi

   Kaba saldırıyı eler, kazayı önler, iz bırakır. Atlandığında içteki üç katman hâlâ yerinde.

5. 5Yatay: iz kaydı

   Her katmanın kararı kaydedilir. Hangi katmanın neyi durdurduğu bilinmiyorsa savunma denetlenemez.

Pratikte en sık görülen hata bu sıranın tersine kurulması: önce filtre yazılıyor, yetki modeli "sonra" bırakılıyor ve genellikle hiç gelmiyor. Bunun nedeni görünürlük — filtre yazmak bir gün, yetki modeli kurmak bir sprint ve filtre demoda gösterilebilir. Sonuç, tek katmanlı ve sessizce başarısız olabilen bir savunma.

Karşı görüş#

İki itiraz güçlü. Birincisi: modern koruma katmanları artık kalıp eşleşmesine dayanmıyor; anlamsal sınıflandırıcılar kullanıyor ve yeniden ifadeye karşı belirgin biçimde dirençli. İkincisi: her sistemde ayrıntılı yetki modeli kurmak pratik değil — küçük ekipler için bu, projeyi hiç yapmamak anlamına gelebilir.

Anlamsal denetleyici kurdular, yakalama oranı yükseldi. Sonra bir kullanıcı aynı talimatı bir tabloya gömerek gönderdi ve denetleyici tabloyu veri sanıp geçirdi.

Birinci itiraz gerçek bir ilerlemeyi işaret ediyor ve önemli: anlamsal denetim kalıp eşleşmesinden çok daha iyi. Ama alıntıdaki örnek kategorik sınırı gösteriyor — denetleyici de bir modeldir ve o da veri ile talimatı ayırmak zorunda; aynı temel belirsizliği taşır. Yakalama oranının yükselmesi savunmayı güçlendirir, sınıfını değiştirmez. İkinci itiraz için de nüans var: ayrıntılı yetki modeli gerekmiyor, kaba bir model bile büyük fark yaratıyor. "Bu ajan yalnızca okuma araçlarına erişebilir" tek satırlık bir karardır ve hasar tavanını dramatik biçimde düşürür. Yetki modelinin maliyeti ayrıntısıyla ölçeklenir; en kaba hâli neredeyse bedavadır.

Sınırlar ve belirsizlik#

Bu analiz filtrelerin yakalama oranına dair nicel bir iddia içermiyor; içeremez, çünkü karşılaştırılabilir ölçüm yayımlanmıyor.

• Filtre yakalama oranları karşılaştırılamıyor: standart bir saldırı seti ve ortak ölçüt yok; iddialar üretici beyanına dayanıyor.
• Anlamsal denetleyicilerin sınırı belirsiz: hangi saldırı sınıflarında güçlü, hangilerinde zayıf olduğu sistematik biçimde haritalanmamış.
• Yetki modeli maliyeti ekibe özgü: ayrıntı düzeyi ile kurulum maliyeti arasındaki ilişki genelleştirilemez.
• Yanlış pozitif maliyeti ölçülmüyor: sıkı filtrenin meşru kullanımı engelleme oranı çoğu sistemde hiç raporlanmıyor.

Sonuç#

Filtre ve yetki aynı denetim listesinde yan yana durabilir ama aynı güvence sınıfında değil. Bir sistemi "koruma katmanı var" diye güvenli saymak, kapıya alarm taktığı için kilidi gereksiz görmekle aynı hata. Alarm faydalı; kilidin yerine geçmiyor.

Pratik ölçüt şu: "Filtre tümüyle atlanırsa bu sistem ne yapabilir?" Cevap kabul edilebilir bir hasar tanımlıyorsa savunma yerindedir. Cevap "her şeyi" ise sistemin tek savunması bir olasılığa dayanıyor demektir — ve bu, güvenlik mühendisliğinde savunma sayılmaz.

Ne yapmalı?#

1. 1Filtre atlandı varsayımıyla gözden geçirin

   Tasarım incelemesinde filtreyi yok sayın. Kalan hasar tavanı kabul edilebilir mi?

2. 2Kaba yetki modeliyle başlayın

   Ayrıntı beklemeyin. "Bu ajan yalnızca okuma araçlarına erişebilir" tek satırlık bir karar ve büyük fark yaratır.

3. 3Filtre kararlarını kayda alın

   Engellenen her girdi saldırı deseni bilgisidir. Kayıt yoksa filtre yalnızca engelliyor, öğretmiyor.

4. 4Yanlış pozitifi de ölçün

   Meşru kullanımı engelleyen filtre, kullanıcıyı sistemi atlatmaya yöneltir. Yanlış pozitif oranı raporlanmalı.

5. 5Katman sırasını belgelendirin

   Hangi katman neyi durduruyor? Yazılmamış bir katman sırası, denetimde tek katmana dönüşür.