GÜVENLİK · Orta → İleri
AI Güvenlik Mühendisi
Uygulama güvenliğini bilen bir mühendisi, dil modeli ve ajan sistemlerinin kendine özgü saldırı yüzeyinde çalışabilecek hâle getirir. İstem enjeksiyonu, araç yetkisinin daraltılması, katmanlı savunma ve koruma katmanının ölçülmesi sırayla kurulur. Kayıt düzeni ve olay müdahalesi, savunmanın denetlenebilir kısmı olarak en sonda ele alınır.
- Bölüm
- 5
- Süre
- ~42 sa
- Ders
- 5
- Önkoşul
- 4
Bölüm döngüsü
- 1Teori
- 2Örnek
- 3Lab
- 4Test
- 5Proje
Önkoşullar
- Bir web uygulamasının tehdit modelini bileşenleriyle çıkarabilmek
- Yetkilendirme kurallarını ve en az yetki ilkesini gerçek bir sistemde uygulayabilmek
- Kayıt ve izleme çıktılarını okuyup olay zinciri kurabilmek
- Bir dil modeli API'sini istemle çağırıp yanıtını inceleyebilmek
Rotayı bitirdiğinde ne yapabiliyor olacaksın?
Kurumunda dil modeli tabanlı bir özellik yayına çıkacak olan, klasik uygulama güvenliğini bilen ancak model katmanının tehdit modelini henüz kurmamış güvenlik mühendisleri için.
- 01
Bir ajan mimarisinin saldırı yüzeyini bileşen bileşen haritalayıp en riskli üç yolu gerekçelendirebilmek
- 02
Doğrudan ve dolaylı istem enjeksiyonu için çalışan sızma senaryoları yazıp savunma öncesi ile sonrası başarı oranını karşılaştırabilmek
- 03
Araç çağrılarını en az yetki ilkesine göre daraltıp reddedilen çağrıları kayıt üzerinden izleyebilmek
- 04
Koruma katmanının yanlış alarm ve kaçırma oranlarını ayrı ayrı ölçüp eşiği bu iki sayıya göre seçebilmek
- 05
Model kaynaklı bir olayda kayıtlardan istem, bağlam ve araç çağrısı zincirini geriye doğru kurabilmek
- 06
Sürüm öncesi güvenlik tatbikatını tekrarlanabilir bir kontrol listesine bağlayıp sonucunu yazılı raporla teslim edebilmek
5 bölüm
Her bölüm ilgili Atlas kavramlarına bağlanır; eksik önkoşul varsa beceri grafiği uyarır.
- 01
Model katmanının saldırı yüzeyi
6 saatKlasik uygulama tehditleriyle model katmanına özgü tehditler karşılaştırılır. İstem, bağlam, araç çıktısı ve kullanıcı girdisinin aynı pencerede birleşmesinin neden yeni bir güven sınırı yarattığı gösterilir. Bölüm sonunda somut bir sistem için tehdit haritası çıkar.
- 02
İstem enjeksiyonu ve dolaylı enjeksiyon
10 saatDoğrudan enjeksiyon, belge içine gömülü dolaylı enjeksiyon ve geri getirme kaynağının zehirlenmesi ayrı ayrı denenir. Girdi ile talimatı ayırma, kaynak etiketleme ve içeriği veri olarak işaretleme yaklaşımları sınanır. Hiçbir tek savunmanın yeterli olmadığı ölçümle gösterilir.
- 03
Araç yetkisi ve ajan sınırları
8 saatAraç çağrısı arayüzleri yetki açısından incelenir: hangi çağrı hangi kimlikle, hangi kapsamda yürür. Onay isteyen adımlar, geri alınamaz eylemlerin ayrılması ve dış araç bağlantılarının güven seviyesi ele alınır. Yetki daraltmanın işlevi bozmadan nasıl yapılacağı üzerinde durulur.
- 04
Koruma katmanı ve çıktı denetimi
8 saatGirdi ve çıktı tarafındaki denetim katmanları kurulur; sınıflandırıcı, kural ve model tabanlı kontroller birlikte değerlendirilir. Yanlış alarm ile kaçırma arasındaki dengenin ürün kararı olduğu gösterilir. Veri sızdırma ve politika dışı çıktı için ayrı eşikler belirlenir.
- 05
Kayıt düzeni, olay müdahalesi ve tatbikat
10 saatNeyin kaydedileceği, kişisel verinin kayıtta nasıl ele alınacağı ve zincirin geriye kurulabilmesi için gereken alanlar tanımlanır. Bir örnek olay baştan sona yürütülür: tespit, sınırlama, kök neden ve düzeltme. Tatbikat, sürüm öncesi tekrarlanabilir bir kontrol listesine bağlanır.
Bu rotadaki dersler
- Model katmanında güven sınırı ve tehdit haritasıBağlam penceresinin neden yeni bir güven sınırı olduğunu ve bu sınırın klasik uygulama güvenliğindeki karşılıklarından nerede ayrıldığını gösterir. Somut bir sistem için tehdit haritası çıkarmayı öğretir.30 dk
- Doğrudan ve dolaylı istem enjeksiyonuDoğrudan enjeksiyonu, belgeye gömülü dolaylı enjeksiyonu ve kaynak zehirlenmesini mekanizmalarına göre ayırır. Her savunma katmanının neyi kestiğini, neyi kesmediğini ve sınamanın nasıl kurulacağını gösterir.45 dk
- Araç yetkisi ve ajan sınırlarıAraç çağrısını kimlik, kapsam, parametre kaynağı ve bütçe alanlarına ayırarak bir yetki sözleşmesi kurar. Geri alınamaz eylemleri iki aşamaya bölmeyi ve yetkiyi işlevi bozmadan daraltmayı gösterir.40 dk
- Koruma katmanı ve çıktı denetimi eşikleriGirdi ve çıktı tarafındaki denetim katmanlarının nasıl sıraya konacağını, eşiğin neden bir ürün kararı olduğunu ve zarar sınıfı başına ayrı eşik seçmeyi gösterir. Temellendirme denetimini politika denetiminden ayırır.40 dk
- Kayıt düzeni, olay müdahalesi ve tatbikatBir isteğin penceresini kayıtlardan yeniden kurmak için gereken alanları, kişisel veriyi ayrı saklama katmanına taşımayı ve olay sınıfına uygun sınırlama kolunu seçmeyi gösterir. Tatbikatı sürüm öncesi kontrol listesine bağlar.45 dk
Rotada geçen kavramlar
- Large Language ModelsLarge Language ModelÇok büyük metin derlemleri üzerinde bir sonraki tokeni tahmin etmeyi öğrenmiş, transformer tabanlı ve genel amaçlı dil görevlerinde kullanılabilen sinir ağı modelidir.
- Large Language ModelsContext WindowBir modelin tek seferde dikkate alabileceği toplam token miktarıdır; istem, ek bağlam ve üretilen cevap bu bütçeyi paylaşır.
- AI SecurityPrompt InjectionModelin işlediği içeriğe gizlenen yönergelerle sistem talimatlarının geçersiz kılınmaya çalışıldığı saldırı sınıfıdır.
- Large Language ModelsRetrieval-Augmented GenerationDil modelinin cevap üretmeden önce harici bilgi kaynaklarından ilgili bilgiyi getirip oluşturduğu bağlama eklediği yapay zekâ mimarisidir.
- NLPSemantic SearchKelime eşleşmesi yerine anlam yakınlığına dayanarak sonuç döndüren arama yaklaşımıdır; gömme vektörleri arasındaki mesafeyle ölçülür.
- AI AgentsAI AgentBir hedefi gerçekleştirmek için plan kuran, araç çağıran ve ara sonuçlara göre kendi adımlarını güncelleyen yapay zekâ sistemidir.
- AI AgentsFunction CallingModelin serbest metin yerine, verilen şemaya uygun yapılandırılmış bir çağrı üretmesi ve uygulamanın bu çağrıyı gerçek bir fonksiyona bağlamasıdır.
- AI AgentsModel Context ProtocolDil modeli uygulamalarının harici araç ve veri kaynaklarına standart bir arayüz üzerinden bağlanmasını sağlayan açık protokoldür.
- AI SecurityGuardrailsBir yapay zekâ sisteminin girdi, çıktı ve eylem katmanlarına yerleştirilen, istenmeyen davranışı sınırlayan programatik denetimlerdir.
- Responsible AIHallucinationModelin akıcı ve kendinden emin biçimde, gerçekle uyuşmayan bilgi üretmesidir.
- Responsible AIResponsible AIYapay zekâ sistemlerinin adillik, şeffaflık, hesap verebilirlik, gizlilik ve güvenlik boyutlarını tasarım aşamasından itibaren yönetme yaklaşımıdır.
- MLOps / LLMOpsLLMOpsDil modeli tabanlı uygulamaların istem, bağlam, araç ve model sürümlerini izlenebilir, ölçülebilir ve geri alınabilir biçimde işletme pratiğidir.
- MLOps / LLMOpsEvaluationBir yapay zekâ sisteminin çıktısının, tanımlı ölçütlere göre sistematik biçimde ölçülmesidir.
Sana uygun olmayabilir mi?
ÖLÇ
Rotaya başlamadan önce nerede durduğunu gör
15 soruluk seviye testi, hangi bölümden başlaman gerektiğini söyler.