Sürüm karşılaştırması ve regresyon kapısı
İki sürümün aynı küme üzerinde vaka bazlı karşılaştırılmasını, ölçümün gürültü bandının belirlenmesini ve koşunun dağıtım hattında bloklayan bir kapıya dönüştürülmesini öğretir.
Önkoşul: Evaluation, LLMOps
BU DERSİN SONUNDA
- Aynı sürümü tekrar koşturarak ölçümün gürültü bandını belirlemek
- İki sürümü vaka bazlı eşleştirilmiş karşılaştırmayla değerlendirmek
- Bloklayan ve uyaran kapı kurallarını birbirinden ayırmak
- Koşu sonucunu karşılaştırılabilir kılan sürüm kaydını tanımlamak
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
İki sürümü karşılaştırmanın ilk adımı sürümleri koşturmak değil, aynı sürümü birkaç kez koşturmaktır: bu, ölçümün kendi gürültü bandını verir ve bandın içinde kalan her fark "fark yok" demektir. Karşılaştırma sonra vaka bazlı ve eşleştirilmiş yapılır; toplam skor yerinde saysa bile daha önce geçen vakaların düşmesi, kapının bloklaması gereken durumdur.
Teori: fark mı, gürültü mü#
Ölçüm koşusunda değişkenliğin birden çok kaynağı vardır: örnekleme sıcaklığı, araç yanıtlarının sırası, geri getirmenin eşit puanlı sonuçlar arasındaki keyfî tercihi ve yargıç kullanılıyorsa yargıcın kendi değişkenliği. Bunların hepsi kapatılamaz; kapatılabilenler kapatıldığında da ölçüm üretim kurgusundan uzaklaşır, çünkü üretim kurgusunda sıcaklık çoğu zaman sıfır değildir. Doğru yaklaşım değişkenliği yok saymak değil, büyüklüğünü ölçüp eşiği onun üstüne koymaktır.
Karşılaştırma, bağımsız iki ortalama yerine vaka bazlı eşleştirilerek yapılır. Nedeni yalın: vakalar arası zorluk farkı çoğunlukla sürümler arası farktan büyüktür. Aynı vakanın iki sürümdeki sonucuna bakıldığında bu zorluk farkı her iki tarafta da aynı olduğundan sadeleşir ve geriye sürümün etkisi kalır. Pratikte sonuç üç sayılık bir tablodur: düzelen vakalar, bozulan vakalar ve değişmeyenler. Düzelen ile bozulan sayısı birbirine yakınsa toplam skor sabit görünse de sistemin davranışı değişmiştir.
Gürültü bandını ölçmek#
- 1Aynı sürümü tekrar koştur
Hiçbir şeyi değiştirmeden aynı sürümü aynı küme üzerinde birkaç kez koşturun. Tohum sabitlenebiliyorsa koşular arasında tohumu değiştirin; amaç değişkenliği görmek, gizlemek değil.
- 2Kararsız vakaları işaretle
Koşular arasında sonucu değişen vakaları ayrı listeleyin. Bu liste iki bilgi taşır: ölçümün gürültü kaynağı ve rubrikte hâlâ belirsiz kalmış ölçütler.
- 3Bandı yaz
Aynı sürümün koşuları arasındaki en büyük farkı ölçümün gürültü bandı olarak kaydedin. Az sayıda koşu bandı olduğundan dar gösterir; tekrar sayısı arttıkça bandı güncelleyin. Bandı sürüm notuna yazın; küme, rubrik, yargıç veya kurgu değiştiğinde yeniden ölçülür.
- 4Eşiği bandın üstüne koy
Kapının anlamlı sayacağı fark bandın üstünde olmalı. Bandın altına konan eşik, kapıyı rastgele çalışan bir engele çevirir ve ekip kısa sürede kapıyı aşmayı öğrenir.
Örnek: kapı kuralları#
| Kural | Ölçüt | Eylem |
|---|---|---|
| Vaka regresyonu | Önceki sürümde geçen bir vakanın düşmesi | Blokla; düşen vaka listesi hata kaydına eklenir |
| Olumsuz katman | Saldırı ailelerinden herhangi birinde başarı artışı | Blokla; elle aşmaya kapalı |
| Deterministik kontroller | Şema, atıf bulunabilirliği veya yetki filtresinde hata | Blokla; bunlar oran değil ikili koşuldur |
| Toplam kalite | Gürültü bandının üstünde düşüş | Blokla ve düşüşün hangi hata sınıfından geldiğini raporla |
| Gereksiz reddetme | İyi huylu ikizlerde düşüş | Uyar; ürün kararıyla birlikte değerlendirilir |
| Süre ve maliyet | Koşu süresinde ya da çağrı sayısında belirgin artış | Uyar; kapı bloklamaz, eğilim izlenir |
Bloklayan ile uyaran ayrımı kapının ömrünü belirler. Bloklayan kurallar ihlali tartışmasız ve sahibi belli olan kurallardır: bir vaka geçiyordu, artık geçmiyor. Uyaran kurallar ürün ödünleşimi taşır; gereksiz reddetmedeki bir düşüş kimi üründe kabul edilebilir bir bedeldir. Bu iki kümeyi karıştıran kapı ya çok sık bloklar ve devre dışı bırakılır ya da hiç bloklamaz ve dekora dönüşür.
Koşuyu hatta bağlamak#
- Her değişiklikte koşan duman alt kümesi: her hata sınıfından ve her olumsuz aileden en az bir vaka.
- Birleştirme öncesi koşan karar kümesi: tam küme, tekrar sayısı belirli, sonuç yoruma değil eşiğe bağlanır.
- Yayın öncesi koşan tam takım: karar kümesi, olumsuz katman ve trafik örneklemi birlikte.
- Yanıt önbelleği yasağı: ölçüm koşusu üretim önbelleğini kullanmaz, yoksa ikinci koşu birincinin kopyasıdır.
- Koşu bütçesi: süre ve maliyet sınırı yazılır; sınır aşıldığında çözüm kümeyi küçültmek değil duman alt kümesini iyileştirmektir.
Elle aşma ve iz#
Kapı elle aşılabilir olmalı, ama aşma bir iz bırakmalı. Hiç aşılamayan kapılar pratikte tümden devre dışı bırakılır; izsiz aşılabilen kapılar ise zamanla anlamsızlaşır. Makul bir kural şudur: aşan kişi düşen vaka listesini ve gerekçesini yazar, aşma bir hata kaydı açar ve o kayıt kapanmadan ikinci bir aşma yapılamaz. Olumsuz katman ile deterministik kontroller bu yolun dışında tutulur, çünkü orada aşmak bilinen bir açığı yayına almak demektir.
Sık yapılan hata#
En yaygın hata, tek koşunun sonucuna karar bağlamak: fark gürültü bandının içindedir ama rapor iyileşme der ve bir sonraki koşu bunu geri alır. İkincisi, yalnızca toplam skoru izlemek; düzelen ve bozulan vakalar birbirini götürdüğünde sistem değişmiş olmasına rağmen pano sakin görünür. Üçüncüsü, koşuyu neyin ürettiğini kaydetmemek. Uygulama sürümü, istem sürümü, küme sürümü, yargıç istemi ve kurgusu, tohum ve tekrar sayısı kaydedilmemişse iki koşu kıyaslanamaz; elinizdeki zaman serisi, farklı şeyleri ölçen sayıların yan yana dizilmiş hali olur.
LAB · UYGULAMALI ALIŞTIRMA
Gürültü bandını ölçüp kapıyı yazın
- 1Mevcut sürümü hiçbir şeyi değiştirmeden karar kümeniz üzerinde üç kez koşturun ve vaka bazlı sonuçları ayrı ayrı kaydedin.
- 2Üç koşuda sonucu değişen vakaları listeleyin; her biri için değişkenliğin kaynağını (örnekleme, geri getirme sırası, yargıç, belirsiz ölçüt) tahmin edip not düşün.
- 3Koşular arasındaki en büyük toplam farkı gürültü bandı olarak yazın ve kapının anlamlı sayacağı eşiği bu bandın üstünde seçin.
- 4İstemde küçük ve zararsız bir değişiklik yapıp yeni sürümü koşturun; sonucu toplam skor olarak değil düzelen, bozulan ve değişmeyen vaka sayıları olarak raporlayın.
- 5Bloklayan ve uyaran kuralları en çok altı satırlık bir tabloya yazın; her satıra ölçütü ve eylemi koyun.
- 6Bir vakayı bilerek bozacak bir değişiklik yapıp kapıyı koşturun; gerçekten bloklandığını ve düşen vaka listesinin raporda göründüğünü doğrulayın.
Beklenen çıktı
Ölçülmüş bir gürültü bandı, düzelen ve bozulan vakaları ayrı raporlayan bir karşılaştırma çıktısı ve bloklaması bir kez sınanmış yazılı kapı kuralları.
Sık sorulan sorular
Sıcaklığı sıfıra çekip gürültüyü ortadan kaldırsam olmaz mı?
Değişkenliğin bir bölümünü azaltır, hepsini kaldırmaz: geri getirme sırası, araç yanıtları ve yargıç hâlâ değişkenlik üretir. Ayrıca ölçüm artık üretimde kullanmadığınız bir kurguyu ölçer, dolayısıyla sonuç üretim davranışı hakkında daha az şey söyler. Makul yol, ölçümü üretim kurgusuyla koşturmak, bandı ölçmek ve karara esas koşularda tekrar sayısını artırmaktır.
Tam kümeyi her birleştirmede koşturmak çok pahalı.
İki katman kurun: her değişiklikte koşan duman alt kümesi ve birleştirme ile yayın öncesi koşan tam küme. Alt küme rastgele seçilmez; her hata sınıfından ve her olumsuz aileden birer vaka alınarak kapsama göre kurulur. Böylece ucuz koşu "bir şey tamamen kırıldı mı" sorusunu, pahalı koşu "kalite düştü mü" sorusunu yanıtlar.
Kapı sık bloklayınca ekip duruyor; eşiği yükseltelim mi?
Önce bloklamanın nedenine bakın. Gürültü bandı yanlış ölçülmüşse düzeltilecek şey eşik değil banttır. Kapı vaka regresyonu nedeniyle blokluyorsa bu gerçek bir bulgudur ve eşiği yükseltmek bulguyu sessizleştirir. Eşik yükseltmek yalnızca bandın altında bir eşik seçildiğinin anlaşıldığı durumda doğru düzeltmedir.
LEARN
Değerlendirme Mühendisi rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.