İçeriğe atla
SinaptikLabAI KNOWLEDGE PLATFORM

KURUMSAL HİZMET

İstem Enjeksiyonu Denetimi

Modelin okuduğu içeriğin talimata dönüşmesini engelleyen tasarım ve kontrol incelemesi.

Problem

Sistem e-posta, web sayfası, ticket ve yüklenen belge okuyor. Bu içeriklerin herhangi birine gömülmüş bir talimat modelin davranışını değiştirebiliyor: yetkisiz bir aracı çağırma, başka kullanıcının verisini özetleme, bir onayı atlama. Kurumda bu riskin hangi akışlarda bulunduğu haritalanmamış durumda.

Çözüm

Güvenilmeyen içeriğin sisteme girdiği her noktayı haritalıyoruz ve her giriş için içerik-talimat ayrımının nasıl sağlandığını inceliyoruz. Filtre tabanlı savunmanın yetersizliği kabul edilerek mimari kontroller önerilir: araç yetkisinin içerik kaynağına göre daraltılması, yıkıcı işlemlerin onay arkasına alınması, çıktı işlemenin güvenli hale getirilmesi. Bulgular gerçek denemelerle gösterilir.

01KULLANIM

Kullanım alanları

  • Güvenilmeyen içerik giriş noktalarının haritalanması
  • RAG akışlarında belge kaynaklı dolaylı enjeksiyon incelemesi
  • Ajan araç yetkilerinin içerik kaynağına göre gözden geçirilmesi
  • Çıktı işleme: üretilen metnin kod, sorgu veya komut olarak yürütülmesinin engellenmesi
  • Üçüncü taraf araç ve sunucu açıklamalarının incelenmesi
  • Enjeksiyon senaryolarının regresyon kümesine eklenmesi
02MİMARİ

Referans mimari

Katmanlar sabit değildir; kurumun veri ve uyum kısıtlarına göre şekillenir.

  1. Giriş haritası: e-posta, web, belge, ticket, veritabanı alanı, araç çıktısı
  2. Güven sınırı tanımı: hangi içerik talimat kaynağı sayılır, hangisi sayılmaz
  3. Yetki daraltma: güvenilmeyen içerik işlenirken araç kümesinin küçültülmesi
  4. Onay kapısı: geri döndürülemez işlemlerin insan onayına bağlanması
  5. Çıktı güvenliği: üretilen metnin doğrudan yürütülmemesi, şemayla doğrulanması
  6. Tespit: şüpheli talimat kalıplarının kaydı ve uyarıya bağlanması
  7. Doğrulama: gerçek enjeksiyon denemeleriyle kontrollerin sınanması
03GÜVENLİK

Güvenlik ve uyum

  • Okuma ve yazma yetkilerinin ayrı kimliklerde tutulması

  • Araç açıklamalarının güvenilmeyen kaynaklardan gelmesinin engellenmesi

  • Kullanıcı kimliğinin araç çağrılarında taşınması; paylaşılan yetkili hesap kullanılmaması

  • Şüpheli davranışta akışın durdurulup kayda bağlanması

04SÜREÇ

Yaklaşımımız

  1. 01

    Discovery

    Senaryo, veri ve kısıtların çıkarılması.

  2. 02

    Assessment

    Olgunluk ve uygulanabilirlik değerlendirmesi.

  3. 03

    Prototype

    En kısa yoldan çalışan ilk sürüm.

  4. 04

    PoC

    Tanımlı başarı ölçütüyle kanıt çalışması.

  5. 05

    Production

    Güvenlik, ölçek ve operasyon devri.

  6. 06

    Monitoring

    Kalite, maliyet ve kayma izleme.

Sık sorulan sorular

İstem enjeksiyonu tamamen çözülebilir mi?

Bugünkü bilgiyle hayır. Dil modelleri talimat ile veriyi aynı kanalda aldığı için ayrım tam güvenilir biçimde yapılamıyor; OWASP'ın üretken yapay zekâ listesinde istem enjeksiyonunun ilk sırada kalması bunun yansıması. Bu yüzden hedef önlemek değil, başarılı bir enjeksiyonun yapabileceği zararı sınırlamaktır.

Filtre veya koruma modeli yeterli mi?

Tek başına değil. Filtreler bilinen kalıpları yakalar ama atlatılabilir; güvenliğin filtreye dayandığı bir sistem, atlatıldığı anda tam yetkiyle çalışır. Dayanıklı tasarım, filtre atlatıldığında bile modelin elinde yıkıcı bir yetki bulunmamasını sağlar. Filtre bir katman olarak kalır, temel olarak değil.

En çok atlanan kontrol hangisi?

Çıktı işleme. Enjeksiyon konuşulurken dikkat girdi tarafında toplanıyor; oysa üretilen metnin doğrudan bir sorguya, kabuk komutuna veya HTML çıktısına gömülmesi tek adımda ciddi zarar üretebilir. Çıktının her zaman veri olarak, şemayla doğrulanarak ele alınması en yüksek getirili kontroldür.

İLETİŞİM

İstem Enjeksiyonu Denetimi için değerlendirme oturumu

İlk görüşmede kullanım senaryonuzu, veri durumunuzu ve kısıtlarınızı birlikte çıkarıyoruz.