YAZILIMCI · Orta → İleri
Değerlendirme Mühendisi
Çalışan bir dil modeli özelliğini "iyi görünüyor" aşamasından sayıyla savunulabilir bir hâle taşır. Kendi trafiğinden değerlendirme kümesi kurmak, görev tipine uygun ölçütü seçmek, model yargıcını insan etiketine karşı kalibre etmek ve iki sürümü aynı ölçekte karşılaştırmak sırayla ele alınır. Rota, ölçümü sürüm öncesi zorunlu bir kapıya bağlamakla kapanır.
- Bölüm
- 5
- Süre
- ~40 sa
- Ders
- 5
- Önkoşul
- 4
Bölüm döngüsü
- 1Teori
- 2Örnek
- 3Lab
- 4Test
- 5Proje
Önkoşullar
- Python ile bir veri kümesini okuyup dönüştürebilmek
- Bir HTTP API'yi kendi başına çağırıp yanıtını ayrıştırabilmek
- İstem yazıp iki çıktı arasındaki farkı okuyabilmek
- Kesinlik ve duyarlılık gibi temel sınıflandırma ölçütlerini yorumlayabilmek
Rotayı bitirdiğinde ne yapabiliyor olacaksın?
Üretimde bir dil modeli özelliği bulunan, sürüm kararlarını sezgiyle verdiğini fark eden ve Python ile veri işlemeyi rahatça yapabilen yazılımcılar için.
- 01
Bir ürün özelliği için değerlendirme kümesini kendi kullanım kayıtlarından türetip kapsadığı senaryoları belgeleyebilmek
- 02
Görev tipine uygun ölçütü seçip alternatif ölçütün neden yanıltıcı olacağını yazılı gerekçeyle savunabilmek
- 03
Model yargıcının kararlarını insan etiketiyle karşılaştırıp uyum oranını ve ayrıştığı örnek sınıflarını raporlayabilmek
- 04
İki sürüm arasındaki farkın ölçüm gürültüsünün üstünde olup olmadığını gösterebilmek
- 05
Kırmızı takım senaryolarını tekrarlanabilir bir koşu paketine dönüştürüp her sürümde aynı biçimde çalıştırabilmek
- 06
Sürüm öncesi regresyon kapısını eşikleriyle tanımlayıp dağıtım hattına bağlayabilmek
5 bölüm
Her bölüm ilgili Atlas kavramlarına bağlanır; eksik önkoşul varsa beceri grafiği uyarır.
- 01
Neyi ölçtüğünü tanımlamak
6 saatÖlçüme başlamadan önce sorunun kendisi yazılır: hangi görev, hangi kullanıcı beklentisi, hangi başarısızlık türü. Uydurma, konu dışına çıkma ve eksik yanıt gibi hata sınıfları birbirinden ayrılır. Bölüm sonunda tek sayfalık bir değerlendirme sorusu belgesi çıkar.
- 02
Değerlendirme kümesini kurmak
8 saatGerçek kullanım kayıtlarından örnekleme, hata sınıflarına göre dengeleme ve beklenen yanıtın nasıl yazılacağı işlenir. Kümenin sızmaya karşı ayrı tutulması ve zamanla nasıl büyütüleceği planlanır. Etiketleme yönergesinin belirsizliği azaltmadaki payı üzerinde durulur.
- 03
Ölçüt seçimi ve model yargıcının kalibrasyonu
10 saatKural tabanlı ölçütlerin nerede yettiği, nerede yetmediği karşılaştırılır; model yargıcı bir ölçüm aracı gibi ele alınır. Yargıç istemi, puanlama ölçeği ve insan etiketiyle uyum ölçümü kurulur. Yargıcın kendi yanlılıkları ve gerekçe isteyen kurgunun etkisi incelenir.
- 04
Kırmızı takım ve olumsuz örnekler
8 saatKümeye kasıtlı olarak zor, sınırda ve kötü niyetli girdiler eklenir. İstem enjeksiyonu denemeleri, politika dışı istekler ve tuzak sorular tekrarlanabilir senaryolara dönüştürülür. Reddetme davranışının aşırı ya da yetersiz olduğu durumlar ayrı ölçülür.
- 05
Sürüm karşılaştırması ve regresyon kapısı
8 saatAynı küme üzerinde iki sürümün karşılaştırılması, tekrarlı koşularda dağılımın okunması ve farkın anlamlı sayılma koşulu ele alınır. Ölçüm koşusu dağıtım hattına bağlanır, geçme eşikleri ve kapının hangi durumda elle aşılabileceği yazılır. Sonuçların sürümle birlikte saklanması kapanış adımıdır.
Bu rotadaki dersler
- Ölçüm sorusunu ve hata sınıflarını tanımlamakÖlçüme başlamadan önce yazılması gereken belgeyi kurar: hangi görev ölçülüyor, kullanıcı neyi başarı sayıyor ve hangi başarısızlık türleri birbirinden ayrı tutulacak. Hata sınıflarının ayırt edici ölçütle nasıl tanımlandığını gösterir.28 dk
- Değerlendirme kümesini örneklemek ve dengelemekGerçek kullanım kayıtlarından hata sınıflarına göre dengeli bir değerlendirme kümesi çıkarmayı, beklenen yanıtı zorunlu ve yasak bileşenler olarak yazmayı ve karar kümesini sızmaya karşı ayrı tutmayı öğretir.35 dk
- Ölçüt seçimi ve model yargıcının kalibrasyonuKural tabanlı ölçütün nerede yettiğini, model yargıcının ne zaman gerektiğini ve yargıcın insan etiketiyle uyumu ölçülerek nasıl bir ölçüm aracına dönüştürüldüğünü öğretir.45 dk
- Kırmızı takım senaryolarını tekrarlanabilir vakaya çevirmekKasıtlı zor, sınırda ve kötü niyetli girdilerin tekrarlanabilir değerlendirme vakalarına nasıl çevrildiğini ve reddetme davranışının neden iki yönlü ölçülmesi gerektiğini öğretir.38 dk
- Sürüm karşılaştırması ve regresyon kapısıİki sürümün aynı küme üzerinde vaka bazlı karşılaştırılmasını, ölçümün gürültü bandının belirlenmesini ve koşunun dağıtım hattında bloklayan bir kapıya dönüştürülmesini öğretir.40 dk
Rotada geçen kavramlar
- MLOps / LLMOpsEvaluationBir yapay zekâ sisteminin çıktısının, tanımlı ölçütlere göre sistematik biçimde ölçülmesidir.
- Large Language ModelsLarge Language ModelÇok büyük metin derlemleri üzerinde bir sonraki tokeni tahmin etmeyi öğrenmiş, transformer tabanlı ve genel amaçlı dil görevlerinde kullanılabilen sinir ağı modelidir.
- Responsible AIHallucinationModelin akıcı ve kendinden emin biçimde, gerçekle uyuşmayan bilgi üretmesidir.
- Generative AIPrompt EngineeringBir dil modelinden istenen davranışı almak üzere girdinin yapısını, bağlamını ve kısıtlarını sistematik biçimde tasarlama pratiğidir.
- Large Language ModelsReasoning ModelsCevabı doğrudan üretmek yerine, çıkarım anında daha fazla hesaplama harcayarak ara adımlar üreten ve bu adımlar üzerinden sonuca varan dil modeli ailesidir.
- Large Language ModelsChain-of-ThoughtModelin nihai cevaba gitmeden önce ara adımları açıkça üretmesini isteyen istem tekniğidir; çok adımlı görevlerde doğruluğu artırabilir.
- AI SecurityPrompt InjectionModelin işlediği içeriğe gizlenen yönergelerle sistem talimatlarının geçersiz kılınmaya çalışıldığı saldırı sınıfıdır.
- AI SecurityGuardrailsBir yapay zekâ sisteminin girdi, çıktı ve eylem katmanlarına yerleştirilen, istenmeyen davranışı sınırlayan programatik denetimlerdir.
- Responsible AIResponsible AIYapay zekâ sistemlerinin adillik, şeffaflık, hesap verebilirlik, gizlilik ve güvenlik boyutlarını tasarım aşamasından itibaren yönetme yaklaşımıdır.
- MLOps / LLMOpsLLMOpsDil modeli tabanlı uygulamaların istem, bağlam, araç ve model sürümlerini izlenebilir, ölçülebilir ve geri alınabilir biçimde işletme pratiğidir.
- MLOps / LLMOpsMLOpsMakine öğrenmesi modellerinin geliştirilmesini, dağıtımını, izlenmesini ve yenilenmesini tekrarlanabilir ve denetlenebilir hale getiren mühendislik disiplinidir.
Sana uygun olmayabilir mi?
ÖLÇ
Rotaya başlamadan önce nerede durduğunu gör
15 soruluk seviye testi, hangi bölümden başlaman gerektiğini söyler.