Kayma sinyalleri ve tetikleyici eşikleri
Girdi dağılımı, çıktı davranışı ve iş sonucundaki kaymayı ayrı sinyaller olarak izlemeyi öğretir. Eşik seçimi, uyarı yorgunluğu ve mevsimsellik ayrıştırmasını ele alıp tetikleyici koşullarını müdahale türüne bağlar.
Önkoşul: Evaluation, Machine Learning
BU DERSİN SONUNDA
- Girdi, çıktı ve iş sonucu kaymasını ayrı sinyallerle izlemek
- Eşiği sinyalin kendi gürültüsüne göre gerekçeli belirlemek
- Mevsimsel dalgalanmayı gerçek kaymadan ayrıştırmak
- Her kayma sinyalini doğru müdahale türüne bağlayan tetikleyici yazmak
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Kayma tek bir olgu değildir: girdinin dağılımı değişebilir, modelin çıktı davranışı değişebilir ya da ikisi sabitken iş sonucu bozulabilir. Üçü farklı zamanlarda görünür ve farklı müdahale gerektirir. Tetikleyici yazmak, "hangi sinyal, hangi eşikte, hangi işi başlatır" sorusunu olay olmadan önce cevaplamaktır.
Teori: üç ayrı kayma#
Girdi kayması en erken görünen sinyaldir, çünkü ölçmek için etikete ihtiyaç yoktur: gelen isteklerin uzunluğu, dili, konu payları ve terim dağılımı doğrudan izlenebilir. Çıktı kayması da etiketsiz ölçülebilir: cevap uzunluğu, reddetme oranı, biçim ihlali, araç çağırma payı. İş sonucundaki kayma ise en geç görünür, çünkü gerçek sonucu öğrenmek için beklemek gerekir.
Bu gecikme, kayma izlemenin asıl zorluğudur. Etiketiniz haftalar sonra geliyorsa "kalite bozuldu mu" sorusuna erken cevap veren tek şey etiketsiz sinyallerdir; ama bu sinyaller doğrudan kalite göstergesi değildir. Girdi dağılımı değişip kalite hiç düşmeyebilir, değişmeden de düşebilir. Bu yüzden etiketsiz sinyaller uyarı üretir, etiketli ölçüm karar verir.
Sinyal katmanları#
| Katman | Ne ölçülür | Ne zaman görünür | Yanıltıcı yanı |
|---|---|---|---|
| Girdi dağılımı | Uzunluk, dil, konu payları, bilinmeyen terim oranı | Anında | Değişim her zaman kalite düşüşü demek değildir |
| Geri getirme davranışı | Boş sonuç oranı, benzerlik puanı dağılımı, kaynak çeşitliliği | Anında | Puan düşüşü dizin değişiminden de gelebilir |
| Çıktı davranışı | Cevap uzunluğu, reddetme oranı, biçim ihlali, araç çağırma payı | Saatler içinde | İstem değişikliği de aynı izi bırakır; sürüm kırılımı şarttır |
| Kullanıcı tepkisi | Yeniden sorma, düzeltme, terk, insana aktarma oranı | Günler içinde | Arayüz değişiklikleri aynı metriği oynatır |
| İş sonucu | Çözülme oranı, elle düzeltme yükü, hatanın maliyeti | Haftalar içinde | Etiket gecikmesi ve mevsimsel dalgalanma iç içe geçer |
Eşik seçimi ve uyarı yorgunluğu#
Sabit bir eşik, mevsimsel dalgalanmayı kayma sanar. Daha dayanıklı yol referans pencere kullanmaktır: geçmiş bir dönemi temel alın, güncel pencereyi ona karşı ölçün ve takvim konumunu eşleştirerek mevsimselliği ayrıştırın. Eşik, ölçtüğünüz sinyalin kendi gürültüsüne göre konur. Gürültü ölçülmeden konan eşik ya hiç çalmaz ya da her gün çalar; her gün çalan uyarı er ya da geç susturulur ve sistem sessizce izlemesiz kalır.
- Referans pencereyi seçin ve dondurun; birlikte kayan bir referans, yavaş kaymayı hiçbir zaman görmez.
- Mevsimsel bileşeni takvim kırılımıyla ayırın: haftanın günü, ay sonu, kampanya dönemi.
- İki aşamalı eşik kurun: birincisi inceleme açar, ikincisi müdahale başlatır.
- Sinyalin üst üste kaç pencerede eşiği aşması gerektiğini yazın; tek pencerelik sapma uyarı değildir.
- Her uyarıya bir sahip ve bir ilk adım iliştirin; sahibi olmayan uyarı kısa sürede susturulur.
Tetikleyici: hangi müdahale#
- 1Sinyali sınıflandırın
Kayma girdi tarafında mı, geri getirmede mi, çıktı davranışında mı? Müdahale bu sınıfa göre değişir, şiddetine göre değil.
- 2Eksik olan bilgi mi
Yeni ürün, değişmiş prosedür, güncellenen mevzuat: eksik olan bilgiyse çözüm kaynak verinin ve dizinin güncellenmesidir.
- 3Eksik olan davranış mı
Sorun cevabın biçimi, kapsamı ya da araç seçimiyse önce istem ve araç şemaları denenir; bunlar ucuz ve geri alınabilir müdahalelerdir.
- 4İnce ayar kararı
İnce ayar, tekrarlayan ve örneklerle tarif edilebilen, istemle çözülemeyen bir davranış farkı varsa gerekçelidir. Karar ölçütü budur.
- 5Tetikleyiciyi yazın
Koşul, pencere, eşik, sahip ve başlatılacak iş tek yerde yazılır. Yazılmamış tetikleyici tetikleyici değil, iyi niyettir.
Sık yapılan hata#
En yaygın yanılgı, her kalite şikâyetine yeniden eğitimle karşılık vermektir. İnce ayar modele yeni bilgi eklemez; ona bir davranışı öğretir. Modelin bilmediği bir ürün adını, değişmiş bir prosedürü ya da güncellenen bir listeyi ince ayarla "öğretmeye" çalışmak pahalı ve kırılgandır: bilgi her değiştiğinde eğitim tekrarlanır. Bilginin yolu geri getirmedir; ince ayarın yolu biçim, üslup ve görev alışkanlığıdır.
LAB · UYGULAMALI ALIŞTIRMA
Kayma sinyali tanımlayıp tetikleyici yazın
- 1Elinizdeki istek kayıtlarını (yoksa kendi arşivinizdeki herhangi bir metin akışını) haftalık pencerelere bölün ve ilk pencereyi referans olarak dondurun.
- 2Her pencerede üç etiketsiz sinyal hesaplayın: ortalama girdi uzunluğu, en sık geçen yirmi terimin toplam payı ve referansta hiç görülmeyen terimlerin oranı.
- 3Sinyallerin pencereler arası doğal dalgalanmasını ölçün; eşiği bu dalgalanmanın dışına, gerekçesini yazarak yerleştirin.
- 4Haftanın günü ya da kampanya dönemi gibi bir takvim kırılımı ekleyip mevsimsel bileşeni ayırın; eşik hâlâ çalıyor mu kontrol edin.
- 5İki aşamalı eşik yazın: inceleme açan seviye ve müdahale başlatan seviye; her ikisi için kaç ardışık pencere şartı olduğunu belirtin.
- 6Sinyal ve müdahale eşlemesi tablosunu doldurun: hangi sinyal veri güncellemesini, hangisi istem değişikliğini, hangisi ince ayar değerlendirmesini başlatır.
Beklenen çıktı
Referans pencereye dayanan, gürültüsü ölçülmüş üç kayma sinyali ve her biri için sahibi ile ilk adımı yazılmış tetikleyici tanımları.
Sık sorulan sorular
Etiket haftalar sonra geliyor. O zamana kadar ne yapacağım?
Etiketsiz sinyalleri erken uyarı, etiketli ölçümü karar mercii olarak kullanın. Ayrıca etiketin bir bölümünü erken üretecek küçük bir örnekleme kurun: her gün sabit sayıda isteği elle işaretlemek, haftalar sonra gelen toplu etiketten çok daha erken sinyal verir.
Girdi dağılımı değişti ama kalite şikâyeti yok. Müdahale etmeli miyim?
Müdahale gerekmez ama sessiz kalmayın. Değişimi kaydedin ve değerlendirme setinize yeni dağılımdan örnek ekleyin. Setiniz eski dağılımı temsil ediyorsa kapı da eski dünyayı koruyor demektir; kalite düşüşünü ilk fark eden yer kullanıcı olur.
Uyarı eşiğini kim belirlemeli?
Sinyali ölçen değil, uyarıya cevap verecek olan. Eşik bir müdahale sözüdür: eşik aşıldığında ne yapılacağını taahhüt edemiyorsanız, o eşik uyarı değil gürültüdür.
LEARN
MLOps Mühendisi rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.