Agentic AI
Bir ajan belgeyi, web sayfasını ya da e-postayı okuduğunda o içerikteki talimatlar model için veriyle aynı kanaldan gelir; dolaylı prompt enjeksiyonu tam bu boşluğu kullanır ve OWASP'ın LLM uygulamaları için hazırladığı ilk on risk listesinde ilk sırada (LLM01) yer alır. Tek bir filtreyle kapanmadığı için savunma katmanlı kurulur: en az yetkili araçlar, güvenilmeyen girdinin yalıtımı, çıkış (egress) kısıtı, geri alınamaz eylemlerde insan onayı ve düzenli saldırı testi. Kapsam: saldırı türleri, yetki ve kum havuzu tasarımı, denetim kaydı, enjeksiyon testleri.
İstem enjeksiyonu bir yazılım hatası değil, mimarinin doğrudan sonucudur: dil modeli veriyi ve talimatı aynı kanaldan alır, dolayısıyla okuduğu her içerik bir komut olabilir. Bu ayrımın olmaması bir uygulama kusuru değil sistemin tanımıdır; bu yüzden enjeksiyon yamalanarak kapatılamaz, yalnızca yetki sınırlamasıyla hasarı küçültülerek yönetilir.
Aynı konunun öğretim ve ölçüm formatları.
Testler
