Model katmanında güven sınırı ve tehdit haritası
Bağlam penceresinin neden yeni bir güven sınırı olduğunu ve bu sınırın klasik uygulama güvenliğindeki karşılıklarından nerede ayrıldığını gösterir. Somut bir sistem için tehdit haritası çıkarmayı öğretir.
BU DERSİN SONUNDA
- Bağlam penceresine içerik yazan kanalları ve her kanalın yazarını envanterlemek
- Klasik uygulama tehditlerinin model katmanındaki karşılığını ayırt etmek
- Güvenilmez kanaldan geri alınamaz eyleme giden yolları çizmek
- Kesim noktasını istem metni yerine yetki katmanına yerleştirmeyi gerekçelendirmek
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Model katmanının kendine özgü saldırı yüzeyi tek bir yapısal olgudan doğar: sistem istemi, kullanıcı mesajı, geri getirilen belgeler ve araç çıktıları aynı bağlam penceresinde, aynı biçimde, tek bir token dizisi olarak birleşir. Klasik uygulamalarda kod ile veriyi ayıran biçimsel sınır burada yoktur; ayrım öğrenilmiş bir davranıştır, dayatılmış bir dilbilgisi değil. Bu yüzden tehdit haritası çıkarmanın ilk adımı, o pencereye kimin yazabildiğini listelemektir.
Teori: güven sınırı nereye taşındı#
Klasik bir uygulamada güven sınırı ayrıştırıcının olduğu yerdedir. Hazırlanmış bir sorgu ifadesinde kullanıcı girdisi ne kadar saldırganca kurulursa kurulsun veri alanında kalır, çünkü sorguyu çözümleyen bileşen kodu ve parametreyi ayrı kanallardan alır. Ayrım metnin içeriğine değil, taşıma biçimine bağlıdır.
Bir dil modelinde böyle iki kanal yoktur. Talimatı talimat yapan şey, bulunduğu konum ve modelin eğitim sırasında edindiği alışkanlıktır. Bu alışkanlık güçlüdür ama olasılıksaldır: yeterince yetkin biçimde kurulmuş bir metin, veri olarak sunulmuş olsa bile talimat gibi okunabilir. Savunma tasarlarken bu farkı kabul etmek gerekir, çünkü metin düzeyinde kurulan her savunma saldırganın da yazabildiği düzlemde durur.
Bunun pratik sonucu şudur: model katmanında güvenlik, modelin kandırılmasını engellemekle değil, kandırıldığında erişebileceği eylem ve veri kümesini daraltmakla kurulur. Kesim noktası istemde değil, çağrı yetkisinde, kapsam filtresinde ve çıktının tüketildiği yerdedir. Bu dersin geri kalanı, o kesim noktalarını görünür kılacak haritayı çıkarmakla ilgilidir.
Pencereye kim yazıyor#
| Pencereye giren içerik | Yazarı kim | Güven seviyesi | Taşıdığı risk |
|---|---|---|---|
| Sistem istemi | Ürün ekibi | Yüksek, ama gizli değil | Sızdığında politika, araç adları ve iç adresler açığa çıkar |
| Kullanıcı mesajı | Son kullanıcı | Güvenilmez | Tanımlı görevi ezme, araç çağrısını yönlendirme |
| Geri getirilen belge | Kaynağa yazabilen herkes | Kaynağın yazma yetkisi kadar | Dolaylı enjeksiyon; yetkisiz kaydın cevaba karışması |
| Araç çıktısı | Çağrılan dış sistem veya sayfa | Aracın okuduğu içerik kadar | Zincirin ortasından gelen talimat |
| Konuşma geçmişi | Karma | En zayıf halkası kadar | Önceki turda giren içerik sonraki turda etkisini sürdürür |
| Bir önceki turun model çıktısı | Model | Türetilmiş | Sistemin kendi ürettiği metni doğrulanmış girdi sanması |
Klasik tehdidin model katmanındaki karşılığı#
| Klasik tehdit | Model katmanındaki hali | Neden aynı savunma yetmez |
|---|---|---|
| Sorgu enjeksiyonu | İstem enjeksiyonu | Hazır ifadede kod ve veri ayrı kanallardan gelir; istemde tek kanal vardır |
| Siteler arası betik | Model çıktısının arayüzde işlenmesi | Kaçışlama hâlâ gerekli, ama tehlikeli içeriği artık üretim anında model kuruyor |
| Sunucu taraflı istek sahtekârlığı | Aracın saldırganın belirlediği adrese gitmesi | Adres sabit kodda değil, modelin metinden yaptığı çıkarımda oluşur |
| Yetki yükselmesi | Ajanın geniş kapsamlı kimlikle çağrı yapması | İstek doğal dilde doğar; statik çözümleme bu yolu göremez |
| Veri sızması | Cevabın yetkisiz kaydı özetlemesi | Yetki filtresi arama sorgusunun içinde olmalı, sonradan uygulanan bir kontrol değil |
Karar: tehdit haritası nasıl çıkarılır#
- 1Yazarları listele
Pencereye içerik giren her kanalı ve o kanalı kimin doldurabildiğini yazın. Bir kanal için net bir yazar adı yazamıyorsanız o kanal güvenilmezdir.
- 2Eylemleri listele
Modelin tetikleyebildiği her yan etkiyi sayın: yazma, silme, gönderme, ödeme, dış çağrı. Her birini geri alınabilir ya da geri alınamaz diye işaretleyin.
- 3Çıktı hedeflerini listele
Cevabın gittiği her yeri yazın: tarayıcı, kabuk, e-posta, kalıcı depo, başka bir model. Her hedefin kendi kaçışlama ve doğrulama kuralı vardır.
- 4Yolları eşleştir
Her güvenilmez yazardan her geri alınamaz eyleme bir yol çizilebiliyor mu? Çizilebiliyorsa bu bir bulgudur; kapatan kontrolü yolun üstüne yazın.
- 5Kesim noktasını seç
Kesmeyi istem metniyle değil, kapsam daraltma, onay kapısı ve çıktı denetimiyle yapın. Kontrolsüz kalan yolları açık işaretleyip risk sırasına dizin.
Sık yapılan hata#
En yaygın hata, sistem istemini bir güvenlik sınırı sanmaktır. Ekipler tehdit haritası çıkarmak yerine isteme kural ekler: kullanıcı talimatlarını yok say, gizli bilgileri açıklama, şu araçları çağırma. Bu cümleler modelin davranışını etkiler ama bir sınır kurmaz; aynı pencerede yarışan başka cümlelerle aynı düzlemdedirler ve saldırgan o düzleme yazabilir.
LAB · UYGULAMALI ALIŞTIRMA
Kendi sisteminizin pencere envanterini çıkarın
- 1Çalışan ya da tasarım aşamasındaki bir yapay zeka özelliğini seçin ve tek bir istek için modele giden nihai metnin tamamını bir dosyaya kopyalayın: sistem istemi, konuşma geçmişi, getirilen parçalar ve araç çıktıları dahil.
- 2Metni bloklara ayırın ve her bloğun yanına yazarını yazın: ürün ekibi, son kullanıcı, kaynak sistemin yazarı, dış site.
- 3Yazarı son kullanıcı veya dış site olan blokları işaretleyin ve bu blokların metnin toplam uzunluğundaki payını hesaplayın.
- 4Modelin tetikleyebildiği eylemleri tek tek yazın; her birini geri alınabilir ya da geri alınamaz diye etiketleyin ve etiketin gerekçesini bir cümleyle not edin.
- 5İşaretli bloklardan geri alınamaz eylemlere giden yolları çizin; her yolun üzerine onu kesen kontrolü yazın, kontrolü olmayan yolları açık bırakın.
- 6Açık yolları sıraya dizin; sıralama ölçütünüz geri alınamazlık ve saldırganın o kanala erişim kolaylığı olsun.
Beklenen çıktı
Bir özelliğin bağlam penceresi yazar envanteri ve güvenilmez kanaldan geri alınamaz eyleme giden açık yolların gerekçeli sıralı listesi.
Sık sorulan sorular
Sistem istemine "kullanıcı talimatlarını yok say" yazmak neden yeterli değil?
Çünkü bu cümle, saldırganın metninin de bulunduğu düzlemde durur. Model iki yarışan talimat görür ve hangisinin baskın çıkacağı olasılıksaldır. Bu cümleler saldırının maliyetini yükseltir, bu yüzden değersiz değildirler; ama sınır kuran şey, saldırganın yazamadığı düzlemde duran yetki ve kapsam kararlarıdır.
Klasik güvenlik pratiklerini bırakıp model katmanına mı odaklanmak gerekiyor?
Hayır, yeni katman eskisinin yerine geçmez, üstüne biner. Kaçışlama, en az yetki, girdi doğrulama ve kayıt hâlâ geçerlidir. Değişen şey, bu kontrollerin uygulanacağı noktanın kaymasıdır: artık doğrulamanız gereken metnin bir kısmını sizin sisteminiz üretiyor.
Tehdit haritası ne zaman geçersiz olur?
Yazar listesi, eylem listesi veya çıktı hedefi listesi değiştiğinde. Yeni bir araç bağlamak, yeni bir geri getirme kaynağı eklemek ya da cevabı yeni bir yüzeyde göstermek haritayı geçersiz kılar. Bu üç listeyi sürüm öncesi kontrol listesine bağlamak, haritanın kendiliğinden yaşlanmasını önler.
LEARN
AI Güvenlik Mühendisi rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.