Sürüklenme izleme ve alarm tasarımı
Veri sürüklenmesi ile kavram sürüklenmesini ayırmayı, izlemeyi katmanlara bölmeyi ve çaldığında yapılacak işi tanımlı olan alarmlar kurmayı öğretir.
Önkoşul: MLOps, Evaluation, Machine Learning
BU DERSİN SONUNDA
- Veri sürüklenmesi ile kavram sürüklenmesini sinyalleriyle birlikte ayırt etmek
- İzlemeyi veri sağlığı, dağılım ve kalite katmanlarına bölmek
- Sürüklenme eşiğini geçmiş veride kalibre ederek alarm tasarlamak
- Yeniden eğitim kararını sürüklenme kaynağına göre gerekçelendirmek
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Üretimdeki bir model sessizce bozulur: kod aynıdır, servis ayaktadır, gösterge panosu yalnızca kimse doğru şeye bakmadığı için iyi görünür. İzleme üç katmanda kurulur — veri sağlığı (şema, eksik oranı, aralık), girdi dağılımı (veri sürüklenmesi) ve tahmin kalitesi (etiket geldiğinde). Etiketin geç gelmesi kalite katmanını en yavaş ama tek belirleyici katman yapar; üst katmanlar alarm verir, teşhis alt katmanlardan gelir.
Teori: iki farklı bozulma#
Veri sürüklenmesi, girdi dağılımının değişmesidir: gelen örnekler eskisine benzemez ama girdi ile hedef arasındaki ilişki aynı kalabilir. Kavram sürüklenmesi ise ilişkinin kendisinin değişmesidir: aynı girdi artık farklı bir sonuca işaret eder. İkisi birbirinden bağımsızdır — dağılım hiç kıpırdamadan model yanlışa düşebilir, ya da dağılım belirgin biçimde kayarken isabet korunabilir.
Bu yüzden girdi sürüklenme alarmı bir kalite alarmı değildir; olsa olsa bir dikkat işaretidir. Kaliteyi ölçmenin tek yolu etikettir ve etiket çoğu problemde gecikmeli gelir: iade, temerrüt, iptal, arıza aylar sonra belli olur. Aradaki boşluğu vekil sinyallerle doldurursunuz — tahmin dağılımının kayması, manuel inceleme sonuçları, kullanıcı geri bildirimi, iş kuralı ihlalleri.
Üçüncü bir bozulma daha vardır ve en sinsi olan odur: geri besleme döngüsü. Model kimin inceleneceğine veya kime teklif gideceğine karar veriyorsa, yalnızca seçtiklerinin sonucunu görürsünüz; sonraki eğitim verisi modelin kendi kararlarıyla daralır ve model kendi körlüğünü pekiştirir. Bunu fark etmenin yolu kasıtlı bir keşif payıdır: küçük bir dilimde rastgele veya farklı eşikle karar verip o dilimin sonuçlarını ayrı izlemek.
Üç katman, beş sinyal#
| Katman | Sinyal | Gecikme | Ne söyler | Ne söylemez |
|---|---|---|---|---|
| Veri sağlığı | Şema uyumu, eksik oranı, aralık ihlali, gecikme | Anında | Boru hattı bozuldu mu | Modelin isabetli olup olmadığını |
| Girdi dağılımı | Sütun bazında dağılım mesafesi, yeni kategori oranı | Anında | Gelen veri tanıdık mı | Kalitenin düşüp düşmediğini |
| Tahmin dağılımı | Skor histogramı, eşik üstü oran | Anında | Modelin davranışı değişti mi | Değişimin doğru mu yanlış mı olduğunu |
| Kalite | Etiketli örneklerde metrik | Etiket gecikmesi kadar | Model gerçekten bozuldu mu | Bozulmanın nedenini |
| İş sonucu | Süreç metriği (inceleme yükü, iptal oranı) | Süreç kadar | Sistem işe yarıyor mu | Modelin bu sonuçtaki payını; ayrıştırmak için deney gerekir |
Sürüklenmeyi ölçmek#
Tek bir doğru sürüklenme istatistiği yok; seçim değişkenin tipine bağlıdır. Sürekli değişkende bölmeli dağılım karşılaştırması veya iki örnek dağılım mesafesi, kategorikte kategori payları ve daha önce görülmemiş kategori oranı işe yarar. Yüksek boyutlu girdide ise ayırt edici model yaklaşımı pratiktir: referans ve güncel örnekleri etiketleyip bir sınıflandırıcının ikisini ayırt edip edemediğine bakarsınız. Ayırt edebiliyorsa dağılım değişmiştir ve hangi sütunun sorumlu olduğunu o modelin özellik öneminden okursunuz.
Alarm tasarımı#
Bir alarmın tek geçerli testi şudur: çaldığında birinin yapacağı tanımlı bir iş var mı? Yoksa o bir pano satırıdır, alarm değil. Pratikte üç ayar alarm kalitesini belirler. Karşılaştırma penceresi: dünle mi geçen haftanın aynı günüyle mi kıyaslıyorsunuz — haftalık ve mevsimsel döngü yanlış alarmın birinci kaynağıdır. Süreklilik koşulu: tek pencerede değil, art arda birkaç pencerede aşım. Kapsam: toplam trafikte kaybolan bir bozulma tek bir kanalda, bölgede veya yeni müşteri diliminde çok belirgin olabilir.
- 1Referansı sabitle
Karşılaştırma tabanı eğitim veri kesimi mi, yoksa son kararlı üretim penceresi mi? Yazılı olsun ve model sürümüyle birlikte güncellensin.
- 2Eşiği geriye dönük kalibre et
Kuralı geçmiş verinizde koşturup kaç kez çalacağını sayın; sayı taşınabilir değilse eşik yanlıştır.
- 3Sahibi ata
Alarm çaldığında ilk bakacak kişi ve ilk üç kontrol adımı önceden yazılı olsun.
- 4Dilimleri tanımla
Kanal, bölge, cihaz, yeni/eski müşteri: bozulma çoğu zaman toplamda değil bu dilimlerde görünür.
- 5Kapanışı tanımla
Alarm nasıl kapanır: kendiliğinden mi, eşik güncellemesiyle mi, yeniden eğitimle mi?
Yeniden eğitim kararı#
Sürüklenme gördüğünüzde ilk refleks yeniden eğitmek olmamalıdır. Önce kaynağı ayırın: bu bir veri hattı hatası mı (yukarı akıştaki bir sütunun anlamı veya birimi değişti), geçici bir mevsimsel dalga mı, yoksa kalıcı bir rejim değişimi mi? Hatalı veriyle yeniden eğitmek bozukluğu modele kalıcı olarak yazar. Yeniden eğitimin kendisi de sürümlenmeli ve paketleme dersindeki künyeyle birlikte kaydedilmelidir; aksi halde "canlıda hangi dünyayı öğrenmiş bir model var" sorusu cevapsız kalır.
LAB · UYGULAMALI ALIŞTIRMA
Bir sürüklenme özeti ve tek bir alarm kurun
- 1Elinizdeki üretim verisinden (veya geçmiş bir veri setinden) eşit uzunlukta bir referans ve bir güncel pencere seçin; pencereler haftalık döngüyü tam kapsasın.
- 2Girdi sütunlarınızdan beşini seçip her biri için iki penceredeki dağılımı yan yana çıkarın: sürekli değişkende bölmeli histogram, kategorikte pay tablosu ve yeni kategori oranı.
- 3Aynı örnekleri "referans" ve "güncel" diye etiketleyip basit bir sınıflandırıcı eğitin; ikisini ayırt edebiliyorsa özellik öneminden sorumlu sütunları okuyun.
- 4Tahmin skorlarının histogramını iki pencerede karşılaştırın ve eşik üstü oranın nasıl değiştiğini yazın.
- 5Tek bir alarm kuralı tanımlayın (hangi metrik, hangi pencere, hangi eşik, kaç ardışık pencere) ve bu kuralı geçmiş verinizde koşturup kaç kez çalacağını sayın.
- 6Alarm için üç adımlık bir müdahale notu yazın: ilk kontrol, ikinci kontrol, eskalasyon; her adımın kime ait olduğunu belirtin.
Beklenen çıktı
Referans ve güncel pencereyi karşılaştıran bir sürüklenme özeti, geçmiş veride kalibre edilmiş tek bir alarm kuralı ve sahibi belli üç adımlık bir müdahale notu.
Sık sorulan sorular
Etiketler aylar sonra geliyor, o zamana kadar ne izleyeyim?
Vekil sinyallere geçin: veri sağlığı, girdi dağılımı ve tahmin dağılımı anında ölçülür. Bunlara ek olarak küçük bir örneklemi manuel etiketletmek, gecikmeli etiketler geldiğinde ise geçmişe dönük dilim raporu üretmek işe yarar. Vekil sinyal kaliteyi kanıtlamaz, yalnızca nereye bakacağınızı söyler.
Sürüklenme alarmı çaldı ama metrik düşmedi, yanlış alarm mı?
Zorunlu olarak değil. Girdi dağılımı değişip girdi ile hedef ilişkisi korunmuş olabilir; bu durumda model hâlâ doğrudur. Girdi sürüklenmesi bir dikkat işaretidir; kapatma kararını kalite katmanı verir. Ama alarmınız düzenli olarak kalite değişmeden çalıyorsa eşiğinizi etki büyüklüğü üzerinden yeniden kalibre edin.
Ne sıklıkla yeniden eğitmeliyim?
Sabit bir takvim yerine tetikleyici tanımlayın: kalite metriğinde tanımlı bir düşüş, kalıcı bir dağılım kayması veya iş kuralı değişikliği. Yine de hattın kendisi kullanılmadıkça çürür; bu yüzden tetikleyici gelmese bile düzenli aralıklarla canlıya çıkmayan bir kuru koşu yapıp hattın çalıştığını doğrulayın.
LEARN
Machine Learning Engineer rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.