KURUMSAL HİZMET
Yapay Zekâ Kırmızı Takım
Yapay zekâ sistemlerine saldırgan bakışıyla yapılandırılmış çekişmeli test uygulama.
Problem
Klasik sızma testi model sınırında duruyor: web katmanı test edilmiş, ama modelin kendisi, çağırdığı araçlar ve okuduğu belgeler test edilmemiş. Sistem yayına alınmış ve ilk çekişmeli deneme gerçek kullanıcıdan geliyor; jailbreak denemeleri ve yetki aşımı senaryoları hiç denenmemiş durumda.
Çözüm
Saldırı yüzeyini dört katmanda ele alıyoruz: istem, geri getirilen içerik, araçlar ve uygulama mantığı. Her katman için senaryo kütüphanesi kurulur ve otomatik denemeler insan denemeleriyle birleştirilir. Bulgular yeniden üretilebilir biçimde kaydedilir, önem sırasına dizilir ve düzeltme sonrası aynı senaryolar yeniden koşturulur. Senaryolar regresyon kümesine geçer; test bir kereye mahsus kalmaz.
Kullanım alanları
- Üretime çıkmadan önce çekişmeli test
- Ajan sistemlerinde yetki aşımı ve istenmeyen eylem sınaması
- RAG kurulumlarında geri getirilen içerik üzerinden saldırı denemesi
- Veri sızdırma ve sistem istemi çıkarma denemeleri
- Model ve istem değişikliklerinden sonra güvenlik regresyonu
- Düzenleyici veya müşteri talebiyle yapılan bağımsız değerlendirme
Referans mimari
Katmanlar sabit değildir; kurumun veri ve uyum kısıtlarına göre şekillenir.
- Kapsam ve kural tanımı: hangi sistemler, hangi hesaplar, hangi sınırlar
- Katman bazlı senaryo kütüphanesi: istem, içerik, araç, uygulama mantığı
- OWASP'ın üretken yapay zekâ ve ajan uygulamaları listelerine göre kapsam kontrolü
- NIST AI 100-2 çekişmeli makine öğrenmesi taksonomisiyle saldırı sınıflandırması
- Otomatik deneme ve insan yönlendirmeli keşif turlarının birleştirilmesi
- Bulgu kaydı: yeniden üretim adımları, etki ve önem derecesi
- Düzeltme doğrulaması ve senaryoların regresyon kümesine aktarılması
Güvenlik ve uyum
Testlerin izole ortamda, gerçek müşteri verisi olmadan yürütülmesi
Yıkıcı etkisi olabilecek araç çağrılarının simüle edilmesi
Bulgu raporlarının erişim denetimli tutulması; düzeltme öncesi dağıtılmaması
Kapsam dışı sistemlere erişim denemesi yapılmaması ve bunun yazılı kayda bağlanması
Yaklaşımımız
- 01
Discovery
Senaryo, veri ve kısıtların çıkarılması.
- 02
Assessment
Olgunluk ve uygulanabilirlik değerlendirmesi.
- 03
Prototype
En kısa yoldan çalışan ilk sürüm.
- 04
PoC
Tanımlı başarı ölçütüyle kanıt çalışması.
- 05
Production
Güvenlik, ölçek ve operasyon devri.
- 06
Monitoring
Kalite, maliyet ve kayma izleme.
Sık sorulan sorular
Sızma testimiz var, bu ondan farklı mı?
Farklı. Klasik sızma testi uygulama ve altyapı katmanına bakar ve o iş hâlâ gerekli. Kırmızı takım çalışması aynı saldırgan bakışını modelin içine, çağırdığı araçlara ve okuduğu içeriğe taşır; buradaki açıklar kod hatası değil yetki ve tasarım hatasıdır ve klasik testte görünmez.
Otomatik araçlar yeterli değil mi?
Yüzeyi taramak için değerli, yeterli değil. Otomatik araçlar bilinen jailbreak ve enjeksiyon kalıplarını hızla dener; ancak kuruma özgü iş mantığını kötüye kullanan senaryoları (yetki devri, onay atlatma, muhasebe akışının kandırılması) üretemez. Bu senaryolar sistemi anlayan bir insan tarafından kurulur.
Test ne sıklıkla tekrarlanmalı?
Takvimden çok değişiklikle tetiklenmeli: yeni araç eklendiğinde, yetki genişletildiğinde, model veya sağlayıcı değiştiğinde. Buna ek olarak bulunan senaryoların regresyon kümesinde sürekli koşması gerekir; tek seferlik rapor, bir sonraki sürümde geçerliliğini yitirir.
İLETİŞİM
Yapay Zekâ Kırmızı Takım için değerlendirme oturumu
İlk görüşmede kullanım senaryonuzu, veri durumunuzu ve kısıtlarınızı birlikte çıkarıyoruz.