MESLEK · Kalite ve güvenlik
AI Güvenlik Mühendisi nasıl olunur?
Yapay zekâ sistemlerinin saldırı yüzeyini haritalayan, saldırıyı kurgulayan ve savunmayı sınayan mühendis.
- Temel sorumluluk
- 6
- Kıdem basamağı
- 2
- Beceri
- 6
- Rota bölümü
- 5
Ne yapar?
Aynı iş şu adlarla da anılır: AI Security Engineer · AI Red Teamer · ML Security Engineer
- 01
Sistemin saldırı yüzeyini haritalar: girdi kanalları, araçlar, veri kaynakları
- 02
Dolaylı istem enjeksiyonu senaryoları kurgular ve sınar
- 03
Araç yetkilerini en az yetki ilkesine göre denetler
- 04
Girdi ve çıktı tarafında birbirinden bağımsız koruma katmanları tasarlar
- 05
Kırmızı takım bulgularını tekrarlanabilir teste dönüştürür
- 06
Olay müdahale akışını yapay zekâ özelinde günceller
Basamaklar ve ne değiştiği
Unvanlar kurumdan kuruma değişir, sorumluluk sınıfları değişmez. Her basamak bir kanıtla eşleşir: o basamakta olduğunuzu gösterebileceğiniz somut bir iş.
- 1AI Güvenlik MühendisiOrta
Odak
Bir sistemin saldırı yüzeyini haritalar ve savunmasını sınar.
Bu basamağın kanıtı
Bulduğu bir enjeksiyon yolu kapatılmış ve kapanışı test edilmiştir.
Sorumluluklar
- Dolaylı enjeksiyon senaryolarını yazar ve düzenli koşturur
- Araç yetkilerini denetler; gereksiz geniş yetkileri daraltır
- Çıktı tarafında veri sızıntısı kontrollerini kurar
- 2Senior AI Güvenlik MühendisiKıdemli
Odak
Kurumsal güvenlik politikasını yapay zekâ sistemlerine taşır.
Bu basamağın kanıtı
Kurduğu süreç, riskli bir yeteneğin yayınını değişiklik yapılana kadar durdurmuştur.
Sorumluluklar
- Yeni yeteneklerin risk değerlendirmesini zorunlu kılan süreci kurar
- Katmanlı savunma mimarisini standartlaştırır
- Olay müdahale kitabını yapay zekâ senaryolarıyla genişletir
İş günü neye benziyor?
Meslek seçimini unvan değil, günün nasıl geçtiği belirler.
Sabah
Gece koşan güvenlik test setinin sonuçlarını inceler; yeni geçen saldırıları işaretler.
Öğleden önce
Yeni eklenen bir aracın yetkisini denetler; kapsamını daraltacak öneriyi yazar.
Öğleden sonra
Kötü niyetli içerik gömülü bir belgeyle ajanı sınar; davranışı kaydeder.
Gün sonu
Bulguyu tekrarlanabilir bir teste çevirip regresyon setine ekler.
Beceriler ve araçlar
Araç listesi hızla değişir; işe alım görüşmelerinde belirleyici olan araçlar değil beceriler.
Gerekli beceriler
- Tehdit modelleme
- İstem enjeksiyonu ve jailbreak teknikleri
- Yetki ve erişim denetimi
- Veri sızıntısı analizi
- Koruma katmanı tasarımı
- Bulguyu teste çevirme
Bu role hangi geçmişlerden gelinir
- Uygulama güvenliği veya sızma testinden geçiş
- Backend mühendisliğinden güvenlik tarafına kayma
- AI Agent Developer rolünden uzmanlaşma
Teknolojiler
- Koruma katmanı kütüphaneleri
- Kum havuzu çalıştırma ortamı
- İz ve denetim kaydı
- Gizli veri tarayıcıları
- Kırmızı takım senaryo kayıt defteri
Bilmesi gereken kavramlar
Ne üretir, nasıl ölçülür?
Bir rolün gerçek tanımı unvanında değil, ürettiği çıktıda ve başarısının nasıl ölçüldüğündedir.
Ürettiği çıktılar
- Saldırı yüzeyi haritası
- Kırmızı takım senaryo kataloğu
- Yetki denetim raporu
- Katmanlı koruma tasarımı
- Yapay zekâya özgü olay müdahale kitabı
Başarı ölçütleri
- Kapatılan saldırı yolu oranı
- Bulunan zafiyetlerin kaçının kapatıldığı ve kapanışın testle doğrulandığı.
- Yetki fazlalığı
- Kullanılmayan ama tanımlı kalmış araç yetkileri; sıfıra yaklaşması gerekir.
- Bulgudan teste geçiş süresi
- Bir kırmızı takım bulgusunun otomatik regresyon testine dönüşme süresi.
Bu mesleğe çıkan öğrenme yolu
Maaş verisi
Maaş aralıkları, Sinaptik Research'ün saha araştırması yayımlandığında — örneklem büyüklüğü, toplama yöntemi ve kaynak bilgisiyle birlikte — bu sayfaya eklenecek. Doğrulanmamış aralık yayımlanmaz; bu alanda en çok okunan ve en kolay yanlış yönlendiren veri budur.
Neyi göstermek işe yarar?
Çalışan bir demo tek başına yetmez; demolar kolay, kalıcılık zordur. Aşağıdaki her madde belirli bir yetkinliği kanıtlar.
Dolaylı enjeksiyon kanıtı
Bir belgeye gömülü talimatın ajan davranışını değiştirdiğini gösteren ve sonra kapatan bir çalışma.
Neyi kanıtlar: Saldırının çalıştığı ve savunmanın durdurduğu iki koşu.
İstem Enjeksiyonu Saldırı DeneyiKırmızı takım panosu
Senaryoları, koşu sonuçlarını ve kapanış durumunu izleyen bir pano.
Neyi kanıtlar: Bulgunun teste dönüştüğünü izlenebilir kılmak.
Kırmızı Takım Panosu DemosuKoruma katmanı kiti
Girdi ve çıktı tarafında birbirinden bağımsız çalışan iki kontrol katmanı.
Neyi kanıtlar: Tek katmanın yetersiz kaldığı bir senaryoyu göstermek.
Koruma Katmanı Kiti
Sık duyulan ama yanlış
İstem enjeksiyonu iyi bir sistem istemiyle çözülür.
Sistem istemi bir öneridir, bir güvenlik sınırı değil. Savunma, modelin talimatı dinlemesine değil, dinlemediğinde ne yapabildiğinin yetkiyle sınırlanmasına dayanır.
Kapalı bir modelde güvenlik sağlayıcının sorunudur.
Sağlayıcı modelin kendi davranışından sorumludur; sizin sisteminizdeki araç yetkileri, veri kaynakları ve çıktı kanalları sizin sorumluluğunuzdur ve saldırı yüzeyinin büyük kısmı oradadır.
Kırmızı takım bir kerelik bir tatbikattır.
Model sürümü, araç kataloğu ve veri kaynakları değiştikçe yüzey de değişir. Bulgular tekrarlanabilir testlere dönüştürülmezse bir sonraki sürümde yeniden açılır.
Bununla karıştırılanlar
Kariyer kararı çoğunlukla 'bu meslek nedir' değil 'bununla şu arasındaki fark nedir' sorusudur.
- AI Agent DeveloperAgent Developer savunmayı akışın içine inşa eder; Güvenlik Mühendisi o savunmayı kırmaya çalışır ve eksiğini gösterir.
- AI Uyum SorumlusuUyum Sorumlusu hukuki yükümlülükten sorumludur; Güvenlik Mühendisi teknik saldırı yüzeyinden. İkisi belge üretiminde kesişir.
Aynı rol ailesinden: Kalite ve güvenlik
Sık sorulan sorular
Dolaylı istem enjeksiyonu nedir?
Saldırganın doğrudan kullanıcı girdisinden değil, modelin okuduğu bir kaynaktan talimat geçirmesidir: bir web sayfası, bir e-posta, bir PDF ya da geri getirme dizinindeki bir belge. Model veri ile talimatı aynı kanaldan aldığı için o içerikteki "önceki talimatları yok say" benzeri bir cümle davranışı değiştirebilir. Kritik nokta şudur: kullanıcı kötü niyetli olmasa bile sistem ele geçirilebilir, çünkü saldırgan içeriğin kendisidir.
Koruma katmanı (guardrail) tek başına yeterli mi?
Değil. Metin üzerinde çalışan bir filtre, yeniden ifade edilen, kodlanan veya başka dile çevrilen saldırıları kaçırabilir. Savunmanın taşıyıcı katmanı yetki sınırlamasıdır: model yanlış yönlendirilse bile yapabileceği eylemler sınırlıysa hasar sınırlı kalır. Filtre bu sınırlamanın yerine değil, üstüne konur.
Yapay zekâ güvenliği ile model hizalaması aynı şey mi?
Değil. Hizalama, modelin kendi davranışının istenen değerlerle uyumunu konu alır ve büyük ölçüde model sağlayıcısının alanıdır. Uygulama güvenliği ise sizin sisteminizin saldırı yüzeyiyle ilgilenir: hangi araçlar tanımlı, hangi veri kaynakları okunuyor, çıktı nereye gidiyor. İki alan kesişir ama sorumluluk sınırları farklıdır.
LEARN
Nereden başlayacağını bilmiyorsan önce ölç
Seviye testi, mevcut becerilerine göre hangi bölümden başlaman gerektiğini söyler.