MESLEK · Kalite ve güvenlik
Değerlendirme Mühendisi nasıl olunur?
Bir yapay zekâ sisteminin iyi çalışıp çalışmadığını ölçen setleri, ölçütleri ve hatları kuran mühendis.
- Temel sorumluluk
- 6
- Kıdem basamağı
- 3
- Beceri
- 6
- Rota bölümü
- 5
Ne yapar?
Aynı iş şu adlarla da anılır: Evaluation Engineer · AI Quality Engineer · Eval Engineer
- 01
Görev setleri kurar; kapsamı kadar kapsam dışını da yazar
- 02
Ölçütleri iş sonucuna bağlar; teknik skoru karar eşiğine çevirir
- 03
Model yargıcı insan etiketine karşı kalibre eder ve sapmayı izler
- 04
Anlamlı fark için gereken örneklem büyüklüğünü hesaplar
- 05
Regresyon hattını sürüm akışına bağlar
- 06
Ölçülemeyen davranışları açıkça belgeler; sessiz bırakmaz
Basamaklar ve ne değiştiği
Unvanlar kurumdan kuruma değişir, sorumluluk sınıfları değişmez. Her basamak bir kanıtla eşleşir: o basamakta olduğunuzu gösterebileceğiniz somut bir iş.
- 1Junior Değerlendirme MühendisiGiriş
Odak
Var olan sete örnek ekler ve sonuçları raporlar.
Bu basamağın kanıtı
Eklediği örnek bir regresyonu yakalamıştır.
Sorumluluklar
- Üretimden gelen başarısızlıkları sete dönüştürür
- Etiketleme kılavuzuna göre örnekleri işaretler
- Koşu sonuçlarını sınıflandırıp özet çıkarır
- 2Değerlendirme MühendisiOrta
Odak
Bir sistemin değerlendirme tasarımına sahiptir.
Bu basamağın kanıtı
Bir iyileştirme iddiasını ölçüm yetersiz olduğu için reddetmiştir.
Sorumluluklar
- Sıfırdan görev seti kurar, kapsam sınırını yazılı hâle getirir
- Model yargıcı insan etiketine karşı kalibre eder
- Örneklem büyüklüğünü hesaplar; gürültüyü kazanç sanmayı önler
- Hata taksonomisi kurar ve her sınıfın iş maliyetini yazar
- 3Senior Değerlendirme MühendisiKıdemli
Odak
Kurumun ölçme standardını kurar; ölçmeden yayımlamayı imkânsızlaştırır.
Bu basamağın kanıtı
Kurduğu standart, farklı ekiplerin sonuçlarını karşılaştırılabilir kılmıştır.
Sorumluluklar
- Ortak ölçüt sözlüğü ve raporlama biçimi tanımlar
- Değerlendirme setlerinin yaşlanmasını ve tazelenmesini yönetir
- Ölçülemeyen riskleri açık risk kaydına taşır
İş günü neye benziyor?
Meslek seçimini unvan değil, günün nasıl geçtiği belirler.
Sabah
Gece koşan değerlendirme sonuçlarındaki sapmaları inceler; gürültü ile gerçek değişimi ayırır.
Öğleden önce
Model yargıcın son kalibrasyonunu insan etiketine karşı yeniden ölçer.
Öğleden sonra
Üretimden gelen yeni başarısızlık türünü taksonomiye ekler ve sete örnek yazar.
Gün sonu
Ekip toplantısında bir iyileştirme iddiasının ölçümle desteklenip desteklenmediğini gösterir.
Beceriler ve araçlar
Araç listesi hızla değişir; işe alım görüşmelerinde belirleyici olan araçlar değil beceriler.
Gerekli beceriler
- Değerlendirme seti tasarımı
- Örnekleme ve istatistiksel okuma
- Model yargıç kalibrasyonu
- Etiketleme kılavuzu yazımı
- Hata taksonomisi kurma
- Kırmızı takım senaryolarını ölçüme çevirme
Bu role hangi geçmişlerden gelinir
- Yazılım kalite mühendisliğinden geçiş
- Veri bilimi veya istatistikten kayma
- AI Engineer rolünden ölçüm tarafına uzmanlaşma
Teknolojiler
- Değerlendirme çerçevesi
- Etiketleme aracı
- Deney kayıt defteri
- İstatistik araçları
- Sürüm hattı tümleştirmesi
Bilmesi gereken kavramlar
Ne üretir, nasıl ölçülür?
Bir rolün gerçek tanımı unvanında değil, ürettiği çıktıda ve başarısının nasıl ölçüldüğündedir.
Ürettiği çıktılar
- Kapsamı ve kapsam dışı yazılı görev setleri
- Ölçüt sözlüğü ve eşik gerekçeleri
- Model yargıç kalibrasyon raporu
- Hata taksonomisi ve maliyet eşlemesi
- Regresyon koşu geçmişi
Başarı ölçütleri
- Yakalanan regresyon oranı
- Üretime çıkmadan yakalanan bozulmaların, toplam bozulmalara oranı.
- Yargıç–insan uyumu
- Model yargıcın insan etiketiyle örtüşme oranı; kalibrasyonun doğrudan ölçüsü.
- Setin yaşı
- Değerlendirme setinin ne kadar süredir tazelenmediği; yaşlanan set gerçek kullanımı temsil etmez.
Bu mesleğe çıkan öğrenme yolu
Maaş verisi
Maaş aralıkları, Sinaptik Research'ün saha araştırması yayımlandığında — örneklem büyüklüğü, toplama yöntemi ve kaynak bilgisiyle birlikte — bu sayfaya eklenecek. Doğrulanmamış aralık yayımlanmaz; bu alanda en çok okunan ve en kolay yanlış yönlendiren veri budur.
Neyi göstermek işe yarar?
Çalışan bir demo tek başına yetmez; demolar kolay, kalıcılık zordur. Aşağıdaki her madde belirli bir yetkinliği kanıtlar.
Model yargıç kalibrasyonu
Bir model yargıcın kararlarını insan etiketiyle karşılaştırıp uyum oranını ve sapma yönünü ölçmek.
Neyi kanıtlar: Kalibre edilmemiş yargıcın sistematik yanlılığını göstermek.
LLM Yargıç KalibrasyonuHalüsinasyon ölçümü
Kaynaksız iddiaları sayan, tekrarlanabilir bir ölçüm hattı kurmak.
Neyi kanıtlar: İki sürüm arasındaki farkı gürültüden ayırabilmek.
Halüsinasyon Ölçüm DüzeniÖrneklem büyüklüğü hesabı
İki sürüm arasındaki farkın anlamlı sayılması için gereken örnek sayısını çıkarmak.
Neyi kanıtlar: Az örnekle verilen kararın neden güvenilmez olduğunu göstermek.
Değerlendirme Örneklem Büyüklüğü
Sık duyulan ama yanlış
Değerlendirme, birim testin yapay zekâ hâlidir.
Birim test deterministik bir çıktıyı doğrular. Değerlendirme, değişken bir çıktının dağılımını ölçer; sonuç tek bir geçti/kaldı değil, bir güven aralığıdır.
Model yargıç kullanmak ölçümü otomatikleştirir.
Kalibre edilmemiş bir yargıç ölçümü otomatikleştirmez, yalnızca yanlılığı ölçekler. Yargıç önce insan etiketine karşı doğrulanmalı, sonra periyodik olarak yeniden doğrulanmalıdır.
Skor yükseldiyse sistem iyileşmiştir.
Skor, ölçtüğü şey kadar doğrudur. Set gerçek kullanımı temsil etmiyorsa ya da örnek sayısı yetersizse skordaki artış gürültü olabilir.
Bununla karıştırılanlar
Kariyer kararı çoğunlukla 'bu meslek nedir' değil 'bununla şu arasındaki fark nedir' sorusudur.
- AI Güvenlik MühendisiGüvenlik Mühendisi kötü niyetli girdiyi kurgular; Değerlendirme Mühendisi normal kullanımdaki kalite dağılımını ölçer. Kırmızı takım bulguları ikisinin kesiştiği yerdir.
- MLOps EngineerMLOps Engineer kapıyı hatta yerleştirir; Değerlendirme Mühendisi kapının neyi ölçtüğünü tasarlar.
- Prompt ve Bağlam MühendisiBağlam Mühendisi ölçülen değişikliği yapar; Değerlendirme Mühendisi ölçüm aracını kurar ve doğruluğundan sorumludur.
Aynı rol ailesinden: Kalite ve güvenlik
Sık sorulan sorular
Değerlendirme seti kaç örnek içermeli?
Gereken sayı, yakalamak istediğiniz farkın büyüklüğüne ve ölçümün varyansına bağlıdır; sabit bir rakam vermek yanıltıcıdır. Küçük farkları güvenle ayırt etmek için daha çok örnek gerekir. Pratik yol, beklenen etki büyüklüğünü belirleyip gerekli örneklem büyüklüğünü hesaplamak ve bunu her ölçümde raporlamaktır. Set büyüklüğü yazılmadan paylaşılan bir skor, yorumlanamaz bir sayıdır.
Model yargıç güvenilir mi?
Kalibre edildiği ölçüde. Yargıç olarak kullanılan model de yanlılık taşır: uzun cevapları, kendi ailesinden gelen çıktıları veya kendinden emin tonu tercih edebilir. Bu yüzden yargıç, insan etiketli bir alt küme üzerinde önce doğrulanır, uyum oranı ölçülür ve sapma yönü kaydedilir. Doğrulama periyodik tekrarlanır çünkü yargıç modeli de sürüm değiştirir.
Neyi ölçemeyeceğimizi nasıl belgeleriz?
Değerlendirme setinin kapsam dışı bölümü, kapsam bölümü kadar önemlidir. Ölçülmeyen davranışlar açıkça yazılır ve risk kaydına taşınır. Bu, kusuru gizlemek yerine görünür kılar; bir sistemin neyi ölçmediğini bilmeyen ekip, o alanda yanlış bir güven taşır.
LEARN
Nereden başlayacağını bilmiyorsan önce ölç
Seviye testi, mevcut becerilerine göre hangi bölümden başlaman gerektiğini söyler.