Ajan güvenliğinde asıl mesele yetki tasarımı

Tez#

Dolaylı istem enjeksiyonu, çoğu kurumda bir içerik güvenliği sorunu olarak ele alınıyor: "kötü niyetli metni tespit edip filtreleyelim". Bu yaklaşım yapısal olarak kaybediyor, çünkü serbest metinde talimat ile veriyi ayırmanın güvenilir bir yolu yok. Doğru çerçeve erişim kontrolü: ajanı, kandırıldığında bile ciddi zarar veremeyecek bir yetki zarfının içine koymak.

Bağlam: tehdidin anatomisi#

1. 1Yerleştirme

   Saldırgan, ajanın okuyacağı bir kaynağa talimat gömer.

2. 2Alım

   Ajan, meşru bir görev sırasında bu içeriği bağlamına alır.

3. 3Karıştırma

   Model içeriği veri değil talimat olarak yorumlar.

4. 4Kötüye kullanım

   Ajan kendi yetkileriyle saldırganın hedefini yürütür.

5. 5Sızma

   Veri dış bir kanala taşınır veya bir eylem geri alınamaz biçimde yapılır.

Bu zincirin en kritik halkası son iki adım. Model tarafında karıştırmayı tamamen engellemek mümkün değil; ama kötüye kullanım ve sızma adımlarını mimariyle kesmek mümkün. Güvenlik yatırımının ağırlığı bu yüzden modelden çıkış noktalarına kaymalı.

Kanıt: neden filtre yetmiyor?#

• Kodlama ve gizleme: talimat base64, homoglif, görünmez karakter veya görüntü içinde taşınabilir.
• Dolaylılık: talimat doğrudan değil, ajanın çıkaracağı bir sonuç olarak ifade edilebilir.
• Dil çeşitliliği: filtre bir dilde eğitilmişse başka dilde yazılmış talimat geçer.
• Meşru benzerlik: "bu belgeyi özetle ve ekibe gönder" cümlesi hem meşru hem saldırı olabilir.

Filtre bir katman olarak faydalı — saldırıların kolay kısmını eler. Ama tek savunma olarak kullanıldığında yanlış bir güvenlik hissi üretiyor: sistem "korunuyor" sayılıyor ve ajana geniş yetkiler verilmesi normalleşiyor.

Karşı görüş#

Ciddi bir karşı argüman var: aşırı kısıtlanmış bir ajan işe yaramaz hale gelir. Her eylem onay isterse kullanıcı onay yorgunluğuna girer ve her şeyi otomatik onaylar — bu, hiç onay olmamasından daha kötü, çünkü güvenlik hissi verirken kontrol sağlamaz. İkinci argüman: ajan ne kadar dar yetkiliyse, kullanıcı işi manuel tamamlamak zorunda kalır ve otomasyonun değeri kaybolur.

Bu eleştiriler tasarımın yönünü belirliyor: onay kapısını her eyleme değil, yalnızca geri alınamaz ve dışa dönük eylemlere koymak. Geri alınabilir işlemler için doğru mekanizma onay değil, geri alma (undo) ve denetim kaydı. Bu ayrım, kullanılabilirlikle güvenliği aynı anda korumanın pratik yolu.

Sonuç#

Ajan güvenliği bir metin problemi değil, bir mimari problem. Doğru tasarım sorusu "modelim güvenli mi" değil, "modelim tamamen ele geçirilse en fazla ne yapabilir". Bu sorunun cevabını kabul edilebilir bir seviyede tutmak, modeli iyileştirmekten çok daha güvenilir bir savunma.

Ne yapmalı?#

1. 01Her ajan akışı için "tamamen ele geçirildi" senaryosunu yazın; en kötü sonucu tanımlayın.
2. 02Güvenilmeyen içerik okuyan bağlamda yıkıcı araç yetkisi bulundurmayın.
3. 03Geri alınamaz ve dışa dönük eylemleri onay kapısına, geri alınabilir olanları denetim kaydına bağlayın.
4. 04Çıkış (egress) kontrolü kurun: dış ağa veri gönderimi izin listesiyle sınırlı olsun.
5. 05Kod çalıştıran ajanları ağ erişimi kesilmiş kum havuzunda çalıştırın.
6. 06Araç çağrılarını izleyin ve anormal desenler için alarm kurun.