Yeniden eğitim tetikleyicileri ve geri alma planı
Bir modelin ne zaman yeniden eğitileceğini takvime değil ölçülebilir bir sinyale bağlamayı, yeni sürümü gölgede doğrulamayı ve geri alma kararını dağıtımdan önce yazmayı öğretir.
Önkoşul: Machine Learning
BU DERSİN SONUNDA
- Takvim tabanlı ve sinyal tabanlı yeniden eğitim tetikleyicilerini ayırt etmek
- Sürüklenme alarmı ile performans düşüşünü farklı yetkilerle kullanmak
- Gölge dağıtımın neyi ölçtüğünü, neyi ölçemediğini belirlemek
- Yeni sürüm için geçme ölçütü ve geri alma sözleşmesi yazmak
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Yeniden eğitim hattı, modelin yenilendiği değil yenilenmeye karar verildiği yerdir. İyi kurulmuş bir hat üç şeyi yazılı hale getirir: hangi ölçüt yeni bir sürüm üretmeyi tetikler, yeni sürümün yayına girmesi için hangi karşılaştırmayı geçmesi gerekir ve işler kötüye giderse hangi eşikte, hangi komutla eski sürüme dönülür. Bu üçü yazılı değilse hat bir otomasyon değil, düzenli aralıklarla risk üreten bir mekanizmadır.
Teori: tetikleyici neden takvim değildir#
Yeniden eğitim bir bakım işi değil, bir iddiadır: modelin öğrendiği ilişki ile dünyanın şu anki hali arasındaki farkın, yeni bir sürüm yayına almanın riskinden büyük olduğunu söylersiniz. Takvim bu iddiayı test etmez, yalnızca zamanın geçtiğini bilir. İlişkinin hızlı değiştiği bir alanda aylık eğitim geç kalır; kararlı bir alanda ise doğrulanmamış sürümler üretip her seferinde yeni bir dağıtım riski açar.
Karar için iki sinyal ailesi vardır ve ikisi aynı şeyi söylemez. Girdi sürüklenmesi, modele gelen verinin dağılımının kaymasıdır; erken görünür ama kalitenin düştüğünü kanıtlamaz, çünkü model kayan bölgede hâlâ isabetli olabilir. Kavram sürüklenmesi ise girdi ile etiket arasındaki ilişkinin değişmesidir; kaliteyi doğrudan düşürür ama ancak gerçek etiketler geldiğinde ölçülebilir. Tetikleyici tasarımının asıl konusu bu iki sinyal arasındaki gecikmedir: etiket ne kadar geç geliyorsa sürüklenmeye o kadar çok yetki vermek zorunda kalırsınız.
Tetikleyici türleri ve ne zaman güvenilir oldukları#
| Tetikleyici | Neyi izler | Ne zaman güvenilir | Tuzak |
|---|---|---|---|
| Takvim | Geçen süre | Bozulma yavaş ve düzenli olduğunda; ölçüme dayalı bir tetikleyici henüz kurulmamışken asgari güvence olarak | Gerek yokken sürüm üretir, gerektiğinde sıradaki tarihi bekler |
| Girdi sürüklenmesi | Özellik dağılımlarının kayması | Etiketler geç geliyorsa erken uyarı olarak | Dağılım kaydı diye kalite düştü sanılır; tek başına yeniden eğitim gerekçesi değildir |
| Performans düşüşü | Gerçekleşen etiketle ölçülen birincil metrik | Etiketler makul sürede geliyorsa; en güçlü ölçüt budur | Etiket gecikmesi kadar geç haber verir; o süre boyunca zarar birikir |
| Yeni etiketli hacim | Son eğitimden beri biriken örnek sayısı | Model az veriyle kurulmuşsa ve veri hızlı büyüyorsa | Hacim artınca kalite kendiliğinden artmaz; yeni veri eskisinden farklı bir rejimden geliyor olabilir |
| Yukarı akış değişikliği | Şema, birim, kaynak sistem veya iş kuralı değişimi | Değişiklik bildirimi veri hattından otomatik geldiğinde | Sessiz şema değişimi fark edilmez; model bozulmuş girdiyle çalışmaya devam eder |
Gölge dağıtım#
Gölge dağıtımda yeni sürüm canlı trafiği alır, tahmin üretir, ama çıktısı servis edilmez; yalnızca kaydedilir. Değeri, çevrimdışı değerlendirmenin göremediği bir hata sınıfını açığa çıkarmasıdır: eğitimde var olup üretimde boş gelen özellikler, eğitim ile servis arasında farklı hesaplanan dönüşümler, gecikme bütçesini aşan çağrılar. Karşılaştırma aynı girdi üzerinde yapıldığı için iki sürümün ayrıştığı vakalar tek tek incelenebilir; bu inceleme, toplam metrik farkından çok daha fazla bilgi taşır.
Karar: yeni sürüm yayına alınır mı?#
- 1Tarifi aynı veriyle yeniden koştur
Yeni sürümü, üretimdeki sürümün eğitim tarifiyle ve yeni veri penceresiyle üretin. Böylece farkın veriden mi yoksa tarif değişikliğinden mi geldiği ayrışır; ikisini aynı anda değiştirirseniz sonucun nedenini bilemezsiniz.
- 2Dondurulmuş kümede karşılaştır
İki sürümü de aynı değerlendirme kümesinde ölçün; bu küme her iki sürümün de eğitim penceresinin dışında ve zaman ekseninde ikisinin de sonrasında kalmalıdır. Yeni sürüm daha geniş bir veri penceresiyle eğitildiği için kümeyi yalnızca eski sürüme göre seçerseniz yeni sürüme sızıntı kazandırırsınız. Değerlendirme kümesi sürüm başına değişirse karşılaştırma anlamını yitirir.
- 3Gölgede eşleştirilmiş koş
Yeni sürümü canlı girdilerle besleyin, çıktısını servis etmeyin. İki sürümün ayrıştığı vakaları sayın ve bir örneklemini elle inceleyin. Ayrışma beklenenden yüksekse önce besleme hattını eleyin: aynı kayıt için eğitimde ve serviste hesaplanan özellik değerlerini karşılaştırın. Değerler aynıysa ayrışma modelin kendisinden geliyordur ve ayrışan vakaların içeriğine bakmanız gerekir.
- 4Önceden yazılmış geçme ölçütünü uygula
Ölçüt dağıtımdan önce yazılır: hangi metrik, hangi yönde, hangi pencerede ve hangi alt gruplarda. Ölçüt sonuçlar görüldükten sonra yazılırsa her sürüm geçer.
- 5Kademeli aç, geri alma kurulu olsun
Trafiğin küçük bir dilimiyle başlayın ve geri alma eşiği devredeyken bekleyin. Dilimi büyütmeden önce en az bir etiket gecikmesi süresi kadar gözlem yapın; aksi halde iyi göründüğü için değil, henüz haber gelmediği için açmış olursunuz.
Geri alma sözleşmesi#
- Önceki sürümün model artefaktı, özellik dönüşüm kodu ve bağımlılık kilidi birlikte saklanır; yalnızca ağırlık dosyasını saklamak geri alma imkânı vermez.
- Geri alma ölçütü dağıtımdan önce yazılır: hangi ölçüt, hangi eşik, hangi gözlem penceresi. Tartışma alarm anında başlarsa dakikalar kaybedilir.
- Geri alma tek adımda yapılabilmelidir; yeniden derleme, yeniden eğitim veya elle veri düzeltme gerektiren bir dönüş geri alma değil yeni bir dağıtımdır.
- Model geri alınırken özellik hattı da eski sürüme döner. Model eski, özellik hesabı yeni kalırsa daha önce hiç test edilmemiş üçüncü bir davranış ortaya çıkar.
- Her geri alma kaydedilir: hangi sürüm, hangi ölçüt, hangi pencere. Bu kayıt bir sonraki tetikleyici ve geçme ölçütü tasarımının girdisidir.
Sık yapılan hata#
En yaygın hata, yeniden eğitimi takvime bağlayıp geçme ölçütü yazmamaktır: hat düzenli olarak yeni bir sürüm üretir, sürüm otomatik yayına girer ve kimse eskisinden iyi olup olmadığına bakmaz. Böyle bir hatta bozulma sessizce birikir, çünkü her dağıtım bir öncekini referans almadan yapılır. İkinci yaygın hata, geri almayı bir plan değil bir refleks saymaktır; ölçüt önceden yazılmadığında geri alma kararı, en yoğun ve en az düşünülebilen anda tartışmaya açılır.
LAB · UYGULAMALI ALIŞTIRMA
Kendi modeliniz için tetikleyici ve geri alma sözleşmesi yazın
- 1Üretimdeki bir modelinizin tahmin kayıtlarını ve gecikmeli gerçek etiketlerini tek tabloda birleştirip haftalık kovalara ayırın. Üretimde modeliniz yoksa elinizdeki geçmiş veriyi tarihe göre sıralayın, erken bir dönemde bir model eğitin ve sonraki haftaların satırlarında tahmin üreterek aynı tabloyu kurun.
- 2Her hafta için iki değer hesaplayın: birincil metrik ve girdi tarafından bir özet istatistik (ör. kritik bir özelliğin ortalaması, eksik oranı veya baskın kategori payı).
- 3İki seriyi aynı zaman ekseninde yan yana çizin ve girdi sinyalinin metrik düşüşünden kaç hafta önce hareket ettiğini işaretleyin; hareket etmediği durumları da not edin.
- 4Bu gecikmeye göre tek bir tetikleyici cümlesi yazın: hangi ölçüt, hangi eşik, hangi pencere, hangi eylem (inceleme mi, yeniden eğitim mi).
- 5Aynı sayfaya geri alma sözleşmesini ekleyin: geri alma ölçütü ve eşiği, gözlem penceresi, geri alınacak bileşenlerin listesi ve dönüşü yapan komut.
- 6Sayfayı bir takım arkadaşınıza (yoksa bir gün ara verip kendinize) okutup 'bu eşik aşılırsa kim ne yapar' sorusunu tek cümleyle cevaplatın; çıkan cevap sayfada yazandan farklıysa sözleşme henüz belirsizdir, cümleleri daraltın.
Beklenen çıktı
Tek sayfalık yeniden eğitim sözleşmesi: kalibre edilmiş tetikleyici eşiği, gölge karşılaştırma yöntemi, önceden yazılmış geçme ölçütü ve tek adımda uygulanabilir geri alma planı.
Sık sorulan sorular
Sürüklenme alarmı her seferinde yeniden eğitim anlamına mı gelir?
Hayır. Girdi dağılımının kayması, modelin kalitesinin düştüğünü kanıtlamaz; model kayan bölgede hâlâ isabetli olabilir. Sürüklenme alarmını inceleme tetikleyicisi olarak kullanın: kaymanın hangi özellikte ve hangi segmentte olduğuna bakın, o segmentteki performansı ayrıca ölçün. Yeniden eğitim kararını mümkünse etiketle ölçülen düşüşe bağlayın; etiket gecikmesi çok uzunsa sürüklenmeye yetki verirsiniz, ama o zaman eşiği geçmiş alarmların ne kadarının gerçek düşüşle sonuçlandığına bakarak ayarlamanız gerekir.
Gölge dağıtım A/B testinin yerini tutar mı?
Tutmaz, çünkü ikisi farklı soruları cevaplar. Gölge dağıtım 'yeni sürüm aynı girdide farklı ne söylüyor ve serviste teknik olarak çalışıyor mu' sorusunu cevaplar. A/B veya kademeli açma ise 'yeni sürümün kararı sonucu değiştiriyor mu' sorusunu cevaplar. Gölgedeki modelin tahmini hiçbir eyleme dönüşmediği için etkisi de ölçülemez. Sıralama şudur: önce gölge ile teknik doğrulama, sonra küçük dilimle etki ölçümü.
Yeniden eğitirken eski veriyi atmalı mıyım?
Kararı iki soruyla verin. İlişki hızlı değişiyorsa kayan pencere (yalnızca son dönem) daha iyi sonuç verir, çünkü eski rejimin örnekleri artık yanlış bir ilişkiyi öğretiyordur. Mevsimsellik varsa pencereniz en az bir tam döngüyü kapsamalıdır, aksi halde model yıl içindeki düzenli dalgayı sürüklenme sanır. İkisi çatışıyorsa eski veriyi atmak yerine ağırlıklandırmayı deneyin ve iki seçeneği aynı dondurulmuş değerlendirme kümesinde karşılaştırın.
LEARN
Machine Learning Engineer rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.