Ajanlarda yetki tasarımı
En az yetki ilkesini ajan mimarisine uygulamak.
Önkoşul: AI Agent
BU DERSİN SONUNDA
- Bir ajan akışı için en kötü senaryo analizini yapabilmek
- Araç yetkilerini en az yetki ilkesine göre daraltabilmek
- Onay kapısı ile geri alma arasında doğru tercihi yapabilmek
- Çıkış kontrolü ve kum havuzu kararlarını gerekçelendirebilmek
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Ajan güvenliğinde tasarım sorusu "model kandırılabilir mi" değil, "kandırıldığında en fazla ne yapabilir". En az yetki ilkesi, bu cevabı kabul edilebilir seviyede tutmanın en güvenilir yolu.
Teori: yetki zarfı#
Bir ajanın yetki zarfı, çağırabildiği araçların yapabileceklerinin birleşimidir. Model katmanındaki hiçbir savunma — sistem istemi, filtre, sınıflandırıcı — bu zarfı küçültmez; yalnızca zarf içinde kalma olasılığını artırır. Zarfın kendisini küçültmek, araç ve ağ katmanında yapılan bir iştir.
Bir ajanın yapabileceği en kötü şey, en yüksek yetkili aracının yapabileceği en kötü şeydir.
Örnek: en kötü senaryo analizi#
| Araç | Mevcut yetki | En kötü sonuç | Daraltma |
|---|---|---|---|
| belge_ara | Tüm belge dizini | Kullanıcının yetkisi olmayan belge cevaba karışır | Sorguya kullanıcı yetki grubu filtresi zorunlu eklenir |
| eposta_gonder | Herhangi bir adrese | Veri dışa sızar | Yalnızca kurum içi alan adlarına; dışa gönderim onaya bağlı |
| kayit_guncelle | Tüm tablolar | Üretim verisi bozulur | Yalnızca belirlenen tablo ve alanlar; tüm değişiklikler denetim kaydına |
| kod_calistir | Ana makinede | Sistem devralınır | Ağ erişimi kesilmiş kum havuzu, süre ve bellek sınırı |
Onay mı, geri alma mı?#
Her eyleme onay koymak, onay yorgunluğu üretir: kullanıcı okumadan onaylamaya başlar ve kontrol kâğıt üstünde kalır. Doğru ayrım, eylemin geri alınabilirliğine göre yapılır.
- Geri alınamaz ve dışa dönük (e-posta göndermek, ödeme başlatmak, kalıcı silmek): onay kapısı.
- Geri alınabilir ve iç (etiket eklemek, kuyruk değiştirmek, taslak yazmak): denetim kaydı ve geri alma.
- Yalnızca okuma: kayıt yeterli, onay gereksiz.
- Belirsiz olanlar: önce onaya bağla, ölçüp güven kazanınca gevşet.
Çıkış kontrolü#
Dolaylı istem enjeksiyonunda saldırganın nihai hedefi genellikle veriyi dışarı taşımak. Bu yüzden en etkili tek kontrol, ajanın çıkabildiği ağ hedeflerini izin listesiyle sınırlamak. Ajan bir URL çağırabiliyorsa, o URL saldırganın sunucusu olabilir.
# Yetki tasarımı kontrol listesi
[ ] Bu akış hangi güvenilmeyen içeriği okuyor? (web, e-posta, yüklenen belge)
[ ] Aynı bağlamda hangi yıkıcı araçlar var? -> varsa AYIR
[ ] Her aracın kapsamı göreve göre daraltıldı mı?
[ ] Geri alınamaz eylemler onay kapısında mı?
[ ] Dış ağ erişimi izin listesiyle sınırlı mı?
[ ] Kod çalıştırma kum havuzunda ve ağsız mı?
[ ] Araç çağrıları iz kaydına yazılıyor mu?
[ ] Anormal desen için alarm var mı? (ör. beklenmeyen dış adres)LAB · UYGULAMALI ALIŞTIRMA
Ajanınızın yetki zarfını küçültün
- 1Ajanınızın tüm araçlarını listeleyin; her biri için en kötü sonucu tek cümleyle yazın.
- 2Güvenilmeyen içerik okuyan akışları işaretleyin; bu akışlardaki yıkıcı araçları ayırın.
- 3Her aracın kapsamını göreve indirin: tablo, alan, alan adı, dizin düzeyinde.
- 4Geri alınamaz eylemleri onay kapısına, geri alınabilirleri denetim kaydına bağlayın.
- 5Dış ağ erişimi için izin listesi tanımlayın ve liste dışını engelleyin.
- 6Kırmızı takım denemesi yapın: bir belgeye gömülü talimatla veri sızdırmayı deneyin.
Beklenen çıktı
Araç bazlı en kötü senaryo tablosu, daraltılmış yetki tanımları ve kırmızı takım denemesinin sonucu.
Sık sorulan sorular
Ajan tamamen güvenli hale getirilebilir mi?
Bugünkü bilgiyle model düzeyinde tam güvence sağlanmış sayılmıyor. Pratik hedef, riski sıfırlamak değil etkisini kabul edilebilir seviyeye indirmek: en az yetki, onay kapısı, çıkış kontrolü ve kum havuzu.
Kum havuzunda ağ erişimi neden kapatılmalı?
Kod çalıştırabilen ve ağa çıkabilen bir ajan, hem veriyi dışarı taşıyabilir hem dış bir kaynaktan yeni talimat çekebilir. Ağı kesmek, kod çalıştırma yetkisinin en tehlikeli sonucunu ortadan kaldırır.
ÖLÇ
AI Güvenliği Testi
6 soru · 11 dakika · AI Güvenliği
LEARN
AI Agent Developer rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.