LAB · DENEY
İstem Enjeksiyonu Saldırı Deneyi
Dolaylı istem enjeksiyonunu araç kullanan bir ajanda izole ortamda sınama düzeni. Güvenlik incelemesi yapanlar için taşıyıcı listesi, savunma katmanları ve durdurmanın hangi katmana ait olduğunun nasıl ayrıştırıldığı.
Durum
GeliştiriliyorBu projenin girdi tanımları, arayüz tasarımıyla birlikte yayımlanacak.
İstem Enjeksiyonu Saldırı Deneyi henüz yayında değil
Bu proje geliştirme listesinde. Yayına girdiğinde bültenle duyurulacak; çalışan araçları Lab sayfasından görebilirsiniz.
Projenin içi
Kurulum, varsayımlar, ölçüm düzeni ve sınırlılıklar.
Soru#
Araç kullanan bir ajan, okuduğu belgede kendisine yönelik bir talimat bulduğunda ne yapar? Dolaylı istem enjeksiyonu tam bu boşluğu kullanır: saldırı kullanıcıdan değil, modelin işlediği içerikten gelir. Düzenin sorusu ikili: saldırı hangi taşıyıcılarla işliyor ve katmanlı savunmada durdurma hangi katmanda oluyor?
Düzen#
Ajan gerçek sistemlere değil taklit araçlara bağlanır: dosya okuma, arama ve mesaj gönderme araçları çağrıyı kaydeder ama dışa hiçbir etki üretmez. Zararlı talimat, kullanıcı istemine değil ajanın araç çıktısı olarak gördüğü içeriğe yerleştirilir. Her tur tek bir savunma katmanı açık ya da kapalı çalıştırılır; durdurmanın hangi katmana ait olduğu ancak böyle ayrışır.
- Ortam: ağ erişimi kesilmiş kum havuzu; tüm araç çağrıları kayda alınır, hiçbiri gerçek hedefe ulaşmaz.
- Karşılaştırma tabanı: savunma katmanlarının tümü kapalı çalışan ajan.
- Değişken 1: enjeksiyon taşıyıcısı — belge gövdesi, araç çıktısı, dosya adı, görsel açıklaması.
- Değişken 2: açık olan savunma katmanı ve katmanların sırası.
- Sabit: görev tanımı, araç kümesi, model yapılandırması ve kayıt biçimi.
Savunma katmanları#
| Katman | Neyi engellemesi beklenir | Bilinen atlatma yolu |
|---|---|---|
| Sistem isteminde sınır kuralı | İçerikten gelen düz talimatın izlenmesini | Yetki taklidi: içeriğin kendini sistem notu gibi sunması |
| İçerik–talimat işaretlemesi | Araç çıktısının talimat olarak okunmasını | İşaretleme sınırını kapatıp yeniden açan metin kalıpları |
| Girdi tarama | Bilinen kalıpların modele ulaşmadan yakalanmasını | Kodlama, dil değiştirme veya talimatı parçalayıp birleştirme |
| Araç izni ve onay kapısı | Yan etkili çağrının onaysız yürütülmesini | Zararsız görünen çağrıları zincirleyerek veri sızdırma |
| Çıktı denetimi | Sızdırılan verinin cevapta görünmesini | Veriyi bağlantı parametresine veya biçim alanına gömme |
Ölçüt#
Bir savunmanın değeri iki yönlü ölçülür: saldırıyı durdurma payı ve meşru işi engelleme payı. Yalnızca ilkine bakan bir ölçüm, her şeyi reddeden bir ajanı kusursuz gösterir. Bu yüzden saldırı havuzunun yanında aynı boyutta bir meşru görev kümesi çalıştırılır.
| Ölçüt | Ne söyler | Tuzağı |
|---|---|---|
| Saldırı başarı payı | Enjekte edilen talimatın araç çağrısına dönüşme sıklığını | Deneme havuzu dar kurulursa pay gerçek riskten bağımsızlaşır |
| Yanlış alarm payı | Meşru görevin yanlışlıkla durdurulma sıklığını | Meşru küme kolay örneklerden kurulursa ölçüt duyarsız kalır |
| Araç çağrısı sapması | Ajanın görev dışına çıkan çağrı sayısını | Sapma zararsız da olabilir; niyet ile sonucu ayırmak elle inceleme gerektirir |
| Durdurma katmanı | Denemenin hangi katmanda kesildiğini | Katmanlar birlikte açıkken atıf belirsizleşir |
| Kısmi sızma derecesi | Verinin tamamen değil kısmen aktığı durumları | İkili başarı etiketiyle ölçülemez; ayrı bir derecelendirme gerekir |
Beklenen kırılma noktaları#
- Uzun belge: sınır kuralı ile zararlı talimat arasındaki mesafe açıldıkça savunmanın zayıflaması beklenir.
- Çok adımlı zincir: tek başına zararsız görünen adımların birleşerek sızma üretmesi beklenen nokta.
- Dil karışımı: sistem kuralı bir dilde, enjeksiyon başka dilde olduğunda taramanın kaçırması beklenir.
- Biçim içine gizleme: tablo hücresi, kod bloğu veya üst veri alanına yerleştirilmiş talimatlar.
- Ajan zinciri: bir ajanın çıktısı diğerinin girdisi olduğunda sınır işaretlemesinin taşınmaması beklenir.
Sınırlılıklar#
Düzen bir sistemin güvenli olduğunu kanıtlayamaz; denenmiş havuz yalnızca saldırı yüzeyinin alt sınırını gösterir, gerçek yüzey ölçülenden büyük olabilir. Havuz elle kurulduğu için kapsamı yazarın öngörüsüyle sınırlıdır ve gerçek bir saldırgan havuzun dışında kalan bir yol bulabilir. Model veya araç kümesi değiştiğinde ölçüm tekrarlanmalıdır; önceki turun sonuçları yeni yapılandırma için geçerli sayılmaz.
Aracın arkasındaki kavramlar
Hesaplayıcı bir kararı hızlandırır; kararın nedenini kavram girdileri anlatır.
- AI SecurityPrompt InjectionModelin işlediği içeriğe gizlenen yönergelerle sistem talimatlarının geçersiz kılınmaya çalışıldığı saldırı sınıfıdır.
- AI SecurityGuardrailsBir yapay zekâ sisteminin girdi, çıktı ve eylem katmanlarına yerleştirilen, istenmeyen davranışı sınırlayan programatik denetimlerdir.
Lab'dan
- AraçÇalışıyorAI ROI HesaplayıcıSüre tasarrufu ve hata azaltma üzerinden yatırım geri dönüşü tahmini.
- AraçÇalışıyorAjan Adım MaliyetiBir ajan döngüsünün adım sayısı, biriken bağlamı ve kendi fiyatlarınızla toplam token faturasını hesaplar. Adım sınırının neden bir maliyet kararı olduğunu ve bağlam penceresinin kaçıncı adımda dolduğunu görünür kılar.
- DeneyYakındaAjan Bellek Mimarisi DeneyiÖzetleme, vektör belleği ve kayan pencere yaklaşımlarını aynı uzun ajan görevinde karşılaştıran ölçüm düzeni. Bellek mimarisi seçimini karara bağlamak isteyen ekipler için, bilgi kaybının hangi turda başladığını görünür kılacak denetim noktaları üzerine kurulur.
- Açık KaynakYakındaAjan İzleme KitiAjan döngüsünün her turunu — araç çağrısını, dönen yanıtı ve büyüyen bağlamı — tek bir iz kaydında toplayan kit. Başarısız bir koşunun hangi adımda saptığını sonradan yeniden oynatarak görebilmek için kurulur.
- DemoYakındaAjan Plan Görünümü DemosuAjanın planını adımlar yürümeden önce gösteren, her adımın gerekçesini ve plan değişikliklerini iz bırakacak biçimde tutan arayüz taslağı. Müdahale ve geri sarma noktalarının nereye konması gerektiğini tartışır.
- DeneyYakındaAkıl Yürütme Bütçesi DeneyiDüşünme bütçesi kademe kademe yükseltildiğinde doğruluk kazancının nerede düzleştiğini arayan ölçüm düzeni. Bütçeyi görev türüne göre ayarlamak isteyen ekipler, ek bütçenin karşılığı olup olmadığını kendi görev kümesinde görebilir.
BUILD
Hesap tuttu, sıra uygulamada
Aynı hesabı kendi verinizle yapıp mimariyi kurmak için kurumsal destek alabilirsiniz.