Değerlendirme seti kurmak ve regresyonu yakalamak
Deterministik kontroller, tabakalı görev seti ve insan incelemesinden oluşan bir değerlendirme düzeni kurmayı; model-yargıcı kalibre etmeyi ve regresyon kapısını ölçülen dalgalanmaya dayandırmayı öğretir.
Önkoşul: Retrieval-Augmented Generation, Fine-Tuning
BU DERSİN SONUNDA
- Değerlendirme katmanlarını maliyet ve kör noktalarına göre ayırt etmek
- Tabakalı ve sürümlenmiş bir görev seti kurmak
- Model-yargıcı insan etiketiyle kalibre etmek
- Regresyon kapısı eşiğini ölçülen dalgalanmaya dayandırmak
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Üretici bir sistemi değerlendirmek, çıktıyı tek bir doğru cevapla karşılaştırmak değildir; hangi kararı vereceğinizi bilip o kararı taşıyacak ölçütü tanımlamaktır. Çalışan bir düzen üç katmandan oluşur: her çıktıda koşan deterministik kontroller, sabit ve işaretli bir görev seti, seyrek ama düzenli insan incelemesi. Değerlendirme bir rapor değil kapıdır; kapıdan geçmeyen değişiklik yayına çıkmaz.
Teori: neyi ölçüyorsun#
En yaygın hata ölçüm sorusunu yanlış kurmaktır. Sistem iyi mi sorusu ölçülebilir değildir. Ölçülebilir sorular şunlardır: bu değişiklik önceki sürüme göre şu görev setinde daha mı kötü, çıktıların ne kadarı şemaya uyuyor, kanıtsız iddia oranı arttı mı, cevaplanamaz sorularda ret davranışı korunuyor mu? Her ölçüt bir karara bağlanmalıdır; kimsenin karar vermek için bakmadığı metrik zamanla süse dönüşür.
Katmanlar maliyet ve gürültüye göre ayrılır. En altta deterministik kontroller vardır: şema geçerliliği, zorunlu alan, yasaklı ifade, atıf kimliğinin bağlamda bulunması. Bunlar ucuzdur, gürültüsüzdür ve her çıktıda koşabilir. Ortada işaretli görev seti vardır: aynı girdiler, sabit ayar, sürümler arası karşılaştırma. En üstte insan incelemesi durur: pahalı ve yavaştır ama alttaki iki katmanın neyi kaçırdığını yalnızca o gösterir. Doğru yön üst katmanı ucuzlatmaya çalışmak değil, her yeni bulguyu alt katmana taşıyarak alt katmanı genişletmektir.
Görev seti nasıl kurulur#
- Girdiler üretim günlüğünden örneklenir; el yazması temiz sorular gerçek dağılımı temsil etmez.
- Zorluk tabakalanır: kolay, orta, zor ve cevaplanamaz girdiler ayrı ayrı sayılabilmelidir.
- Her girdi için beklenen davranış yazılır; tam metin değil kabul ölçütü: hangi olgu geçmeli, hangi kaynak gösterilmeli, ne söylenmemeli.
- Cevaplanamaz girdiler setin kalıcı parçasıdır; ret davranışı ölçülmeyen sistem zamanla her soruya cevap uydurur.
- Set sürümlenir ve dondurulur; girdi eklemek yeni sürüm açmak demektir, yoksa sürümler arası karşılaştırma anlamını yitirir.
- Set küçük başlayabilir ama her gerçek hata, düzeltildikten sonra sete bir girdi olarak eklenir.
Ölçüt aileleri#
| Ölçüt tipi | Ne yakalar | Kör noktası |
|---|---|---|
| Deterministik kontrol | Şema, biçim, yasaklı ifade, geçersiz atıf kimliği | İçeriğin doğruluğunu hiç görmez |
| Referansla karşılaştırma | Beklenen olgunun cevapta bulunup bulunmadığını | Aynı bilgiyi farklı ifade eden doğru cevabı hatalı sayabilir |
| Geri getirme metrikleri | Doğru kanıtın ilk k içinde gelip gelmediğini | Kanıt geldiği hâlde cevabın bozulduğu durumu göstermez |
| Model-yargıç | Sadakat, eksiklik, üslup gibi metin düzeyi ölçütleri | Kalibre edilmezse kendi yanlılığını ölçüm gibi sunar |
| İnsan incelemesi | Diğerlerinin hiç tanımlamadığı bağlam ve karar hatalarını | Pahalı, yavaş ve inceleyiciler arası tutarsızlığa açık |
Model-yargıç kullanmak#
Bir modeli değerlendirici olarak kullanmak ucuz ve ölçeklenebilir, ama yargıç da bir modeldir: kendi eğilimleri, uzunluk ve üslup tercihleri, kendi hataları vardır. Kullanılabilir hale gelmesi için insan etiketli bir alt kümede uyumunun ölçülmesi gerekir; yargıç ile insan aynı örneklerde ne kadar aynı kararı veriyor? Uyum düşükse ilk şüpheli ölçülen sistem değil ölçütün kendisidir: kabul ölçütünü netleştirmeden yargıcı değiştirmek uyumu artırmaz. Tek bir çıktıya mutlak puan vermek yerine iki çıktıyı karşılaştırmak genellikle daha kararlıdır, çünkü ölçek kalibrasyonu gerektirmez. Yargıç ile değerlendirilen aynı model olduğunda kendi üslubunu ödüllendirme riski doğar; bunu ayrı bir model ya da insan kontrolüyle dengeleyin.
Regresyon kapısı#
- 1Ayarı sabitle
Model sürümü, örnekleme ayarları, istem sürümü ve görev seti sürümü tek kayıtta dondurulur; biri değiştiyse karşılaştırma geçersizdir.
- 2Taban çizgisini kaydet
Mevcut sürümün her ölçütteki sonucunu saklayın; kapı eşikleri bu çizgiye göre tanımlanır.
- 3Eşleşmeli koş
Değişikliği aynı girdilerde koşturup girdi bazında karşılaştırın; ortalama sabitken bir tabakanın çökmesi ancak böyle görünür.
- 4Dalgalanmayı ölç
Aynı koşuyu birkaç kez yineleyip dalgalanmayı yazın; gözlenen fark bu dalgalanmadan küçükse fark yok sayılır.
- 5Kapıyı uygula
Deterministik kontrollerde gerileme varsa değişiklik geçmez; kalite ölçütlerinde gerileme varsa gerekçe ve telafi yazılmadan yayına alınmaz.
Sık yapılan hata#
Ortalama, değerlendirmede en çok yanıltan sayıdır. Kolay girdilerin çoğunlukta olduğu bir sette ortalama sabit kalırken zor ve cevaplanamaz tabakalar çökebilir; rapor değişiklik nötr der, kullanıcı ise tam da en kritik durumlarda bozulmayı görür. İkinci yaygın hata tek örnekle karar vermektir: bir çıktının daha iyi görünmesi, dalgalanmanın içinden seçilmiş bir örnek olabilir. Üçüncüsü ölçüm setinin zamanla istem ayarına ya da eğitim verisine sızmasıdır; set ayarlandıkça ölçüm kendi kendini onaylayan bir aynaya döner.
LAB · UYGULAMALI ALIŞTIRMA
Tabakalı görev seti ve regresyon kapısı kurun
- 140 girdi örnekleyip dört tabakaya ayırın: kolay, orta, zor ve cevaplanamaz. Girdileri üretim günlüğünüzden alın; günlüğünüz yoksa sistemi kullananların gerçek isteklerinden toplayın. Her tabakada en az beş girdi olsun.
- 2Her girdi için kabul ölçütünü yazın: geçmesi gereken olgu, gösterilmesi gereken kaynak, söylenmemesi gereken şey.
- 3Deterministik kontrolleri kodlayın: çıktı şeması geçerli mi, atıf kimlikleri bağlamda var mı, yasaklı ifade geçiyor mu?
- 4Mevcut sürümü bu sette üç kez koşturun; tabaka başına geçme oranını ve üç koşu arasındaki dalgalanmayı kaydedin, bu taban çizginizdir.
- 5Tek bir değişiklik yapın (örneğin bağlamdaki parça sayısını değiştirin) ve aynı seti aynı ayarla koşturup girdi bazında eşleşmeli karşılaştırma tablosu çıkarın.
- 6Kapı kuralını yazın: hangi tabakada ne kadar gerileme değişikliği durdurur? Eşiği taban çizgisinde ölçtüğünüz dalgalanmaya dayandırın.
Beklenen çıktı
Dört tabakalı işaretli görev seti, taban çizgisi ve dalgalanma kaydı ile gerileme eşiğini bu dalgalanmaya dayandıran yazılı bir regresyon kapısı kuralı.
Sık sorulan sorular
Kaç girdilik bir görev seti yeterli?
Bağlayıcı olan toplam girdi sayısı değil, tabaka başına yeterli örnek olması ve setin gerçek dağılımı temsil etmesi. Küçük set dalgalanmayı büyütür; bu yüzden aynı koşuyu yineleyip dalgalanmayı ölçmek set boyutundan bağımsız olarak zorunludur. Her gerçek hatayı sete eklemek, seti zamanla doğru yerden büyütür.
Otomatik ölçüm varken insan incelemesine neden ihtiyaç var?
Otomatik ölçütler yalnızca tanımladığınız şeyi görür. Hiç düşünmediğiniz hata tipini — yanlış ton, eksik uyarı, bağlamı yanlış yorumlama — ilk olarak insan yakalar. Doğru kullanım, seyrek ve örneklemeli inceleme yapıp bulunan her yeni hata tipini otomatik kontrole ya da görev setine çevirmektir.
Sonuçlar koşudan koşuya değişiyor, ne yapmalıyım?
Önce sabitlenebilecekleri sabitleyin: örnekleme ayarları, istem sürümü, geri getirme dizini ve model sürümü kayıtlı ve değişmez olmalı. Kalan dalgalanma sistemin doğasındandır; onu yok saymak yerine ölçün ve kapı eşiğini bu dalgalanmanın üstüne koyun.
LEARN
Generative AI Engineer rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.