Prompt Injection
İstem enjeksiyonu
Modelin işlediği içeriğe gizlenen yönergelerle sistem talimatlarının geçersiz kılınmaya çalışıldığı saldırı sınıfıdır.
Kısa cevap
İstem enjeksiyonu, modelin işlediği içeriğin modele talimat gibi davranmasıdır. Araç kullanabilen bir ajanda bu bir metin filtreleme sorunu değil, yetki sorunudur: saldırgan modelin değil ajanın yetkilerini kullanır.
Doğrudan ve dolaylı enjeksiyon#
Doğrudan enjeksiyonda kullanıcı, modele sistem talimatını yok saymasını söyler. Dolaylı enjeksiyonda talimat modelin okuduğu bir belgeye, web sayfasına veya e-postaya gizlenir — kullanıcı saldırgan değildir, içerik saldırgandır.
Azaltma yöntemleri#
- Araç yetkilerini görev bazında daraltmak.
- Geri döndürülemez işlemler için insan onayı istemek.
- Dış içeriği veri olarak işaretleyip talimat olarak değerlendirmemek.
- Çıktı doğrulaması ve denetim kaydı.
| Tür | Kim kötü niyetli | Taşıyıcı | Kurumsal risk |
|---|---|---|---|
| Doğrudan | Kullanıcının kendisi | Kullanıcı mesajı | Orta: kendi hesabının yetkisiyle sınırlı |
| Dolaylı | Üçüncü taraf | Web sayfası, e-posta, belge, araç çıktısı | Yüksek: kullanıcı farkında değil |
Saldırı zinciri#
- 1Yerleştirme
Talimat, ajanın okuyacağı bir kaynağa gömülür.
- 2Alım
Ajan meşru bir görev sırasında içeriği bağlamına alır.
- 3Karıştırma
Model içeriği veri değil talimat olarak yorumlar.
- 4Kötüye kullanım
Ajan kendi yetkileriyle saldırganın hedefini yürütür.
- 5Sızma
Veri dış kanala taşınır veya geri alınamaz bir eylem yapılır.
Savunma yatırımının ağırlığı son iki adıma verilmeli. Model tarafında karıştırmayı tamamen engellemek bugünkü bilgiyle mümkün değil; ancak kötüye kullanım ve sızma adımlarını mimariyle kesmek mümkün.
Neden filtre yetmez?#
- Kodlama ve gizleme: talimat base64, homoglif, görünmez karakter veya görüntü içinde taşınabilir.
- Dolaylılık: talimat doğrudan değil, modelin çıkaracağı bir sonuç olarak ifade edilebilir.
- Dil çeşitliliği: tek dilde eğitilmiş filtre, başka dildeki talimatı geçirir.
- Meşru benzerlik: "bu belgeyi özetle ve ekibe gönder" hem meşru hem saldırı olabilir.
Katmanlı savunma#
| Katman | Ne yapar | Sınırı |
|---|---|---|
| Kaynak etiketleme | Dış içerik "veri" kanalında taşınır | Model etiketi göz ardı edebilir |
| En az yetki | Ajan yalnızca gereken araca erişir | Her akış için elle tasarım gerekir |
| Onay kapısı | Geri alınamaz eylem insana bağlanır | Onay yorgunluğu riski |
| Çıkış kontrolü | Dış ağ izin listesiyle sınırlanır | Meşru entegrasyonları yavaşlatır |
| Kum havuzu | Kod çalıştırma yalıtılır | Kurulum ve bakım maliyeti |
| Kayıt ve tespit | Anormal araç deseni alarm üretir | Olaydan sonra çalışır |
Sık sorulan sorular
Prompt injection tamamen çözülebilir mi?
Bugünkü bilgiyle model düzeyinde çözülmüş sayılmıyor. Pratik hedef riski sıfırlamak değil, etkisini kabul edilebilir seviyeye indirmek.
Jailbreak ile prompt injection aynı şey mi?
Değil. Jailbreak, modelin güvenlik politikalarını aşmayı hedefler. İstem enjeksiyonu, modelin işlediği veriyi talimata dönüştürmeyi hedefler. İkisi birlikte de kullanılabilir.
Kırmızı takım denemesi nasıl yapılır?
Ajanın okuyacağı bir kaynağa gömülü talimat yerleştirip veri sızdırma veya yetkisiz eylem denemesi yapılır. Deneme, üretimden yalıtılmış bir ortamda ve yazılı kapsamla yürütülmeli.
Kaynaklar
- 01Uygulama güvenliği risk listeleri — Açık güvenlik toplulukları · Teknik rapor
- 02Sinaptik Research — kavram doğrulama notları — Sinaptik Lab · Teknik rapor
Güncelleme geçmişi
- v1.2Katmanlı savunma tablosu ve kırmızı takım notu eklendi.
- v1.0İlk yayın.
LEARN
Prompt Injection konusunu uygulamaya dökmek ister misin?
Kavramı okudun; sırada onu bir rotanın içinde öğrenmek ve bir testle ölçmek var.