Uçtan uca tahmin projesi: veriden izlemeye
Bir tahmin problemini karar cümlesinden teslim sözleşmesine kadar tek başına kurmanın sırasını ve her adımda verilen kararın sonraki adımları nasıl kilitlediğini öğretir.
Önkoşul: Machine Learning
BU DERSİN SONUNDA
- Bir iş kararını ölçülebilir bir tahmin problemine çevirmek
- Karar anına göre özellik kesme noktası belirleyip sızıntıyı baştan kapatmak
- Model yazmadan önce taban çizgisi kurup modelin aşması gereken sayıyı sabitlemek
- Eşiği eylem kapasitesine bağlayıp modeli izleme sözleşmesiyle birlikte teslim etmek
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Uçtan uca bir proje model seçmekle başlamaz, karar cümlesiyle başlar: kim, ne zaman, hangi eşiğin üstünde ne yapacak. Bu cümle yazıldığı anda etiket tanımı, kullanılabilecek özellikler, doğrulama tasarımı, servis deseni ve izleme sinyalleri büyük ölçüde belirlenmiş olur. Model ailesi seçimi ise projenin en ucuz ve en kolay geri alınabilir kararıdır; projeler ortadan değil, bu iki uçtan kırılır.
Teori: proje neden uçlarda kırılır#
Bir projenin ortası — özellik üretimi, model ailesi, hiperparametre araması — değiştirilmesi en ucuz kısımdır. Aynı veri bölmesini ve aynı etiketi koruduğunuz sürece model tarafında istediğiniz kadar dolaşabilirsiniz, karşılaştırma geçerliliğini korur. Uçlar ise pahalıdır: etiket tanımını değiştirmek bütün geçmiş ölçümleri geçersiz kılar, karar anını değiştirmek kullanılabilir özellik kümesini baştan kurar, teslim sözleşmesini sonradan yazmak ise çoğu zaman projenin kullanılmamasıyla sonuçlanır.
Bu yüzden uçtan uca bir projeyi kurarken doğru zihinsel model bir boru hattı değil, bir kilitler zinciridir. Her erken karar sonraki adımların hareket alanını daraltır: etiket tanımı birincil metriği ve sınıf dengesini kilitler; karar anı özellik kesme noktasını kilitler; kararın ne kadar çabuk verilmesi gerektiği servis desenini kilitler; hata maliyetlerinin asimetrisi eşiği kilitler. Kilitleri bilerek kurarsanız proje ilerler; farkında olmadan kurarsanız her aşamada bir önceki aşamaya dönmek zorunda kalırsınız.
Vaka: teslimat gecikmesini önceden tahmin etmek#
| Aşama | Vakada verilen karar | Kilitlediği şey | Yanlış giderse belirti |
|---|---|---|---|
| Karar anı | Tahmin, sipariş kargoya verildiği anda üretilir | Hangi verinin özellik olabileceğini | Üretimde bulunamayan özellik: eğitimde güçlü, serviste boş gelir |
| Etiket | Söz verilen tarihten sonra teslim edilen sipariş gecikmedir | Birincil metriği ve sınıf dengesini | Etiket tanımı proje ortasında tartışmaya açılır, tüm ölçümler yenilenir |
| Zaman ekseni | Eğitim geçmiş dönem, doğrulama ondan sonraki dönem | Doğrulama tasarımını ve beklenen bozulma hızını | Doğrulamada yüksek, üretimde düşük skor |
| Eylem | Riskli siparişin müşterisi önceden bilgilendirilir | Eşiği ve hata maliyeti asimetrisini | Model çalışır ama çıktısına göre kimse bir şey yapmaz |
| Kapasite | Bir günde gönderilebilecek bilgilendirme sayısı sınırlıdır | Eşiğin hangi noktaya kurulacağını | Uyarı listesi kapasiteyi aşar, liste toptan görmezden gelinir |
| Teslim | İzleme sinyalleri, yeniden eğitim tetikleyicisi ve sahip birlikte yazılır | Modelin bakımını kimin üstleneceğini | Alarm çalar, alıcısı olmadığı için kimse bakmaz |
Özellik kesme noktası#
Kesme noktası, kararın verildiği andır; o andan sonra oluşan hiçbir değer özellik olamaz. Kural basit görünür ama ihlali gözle görülmez, çünkü eğitim tablosu neredeyse her zaman olayın tamamlanmış halinden üretilir. Teslimat vakasında 'kargo firmasının son tarama sayısı', 'iade edildi mi' veya 'müşteri destek kaydı açtı mı' alanları eğitim tablosunda doludur ve gecikmeyi çok iyi açıklar; oysa siparişin kargoya verildiği anda hiçbiri bilinmiyordur. Sızıntı, doğrulama kümesi doğru bölünmüş olsa bile gizlenir: hem eğitim hem doğrulama satırları aynı sonradan doldurulmuş alanı taşır.
Sıra: projeyi hangi sırayla kurarsınız#
- 1Karar cümlesini yaz
Kim, ne zaman, hangi eşiğin üstünde hangi eylemi yapacak? Bu cümle yazılamıyorsa elinizdeki iş bir tahmin projesi değil bir keşif çalışmasıdır; öyle adlandırın ve beklentiyi ona göre kurun.
- 2Etiketi ve kesme noktasını sabitle
Etiketin tanımını, ölçüldüğü kaynağı ve kararın verildiği anı yazın. Etiketin gerçekleşmesi ile kararın verilmesi arasındaki süre hem doğrulama penceresini hem de ileride izleme gecikmesini belirler.
- 3Taban çizgisini kur ve ölç
Model yazmadan önce basit bir kuralla ya da geçmiş dönemin oranıyla tahmin üretin ve birincil metriği doğrulama penceresinde hesaplayın. Bu sayı modelin aşması gereken alt sınırdır; aynı zamanda model gecikirse servis edilebilecek yedektir.
- 4Modeli aynı bölmede karşılaştır
Model ailesini, özellikleri ve hiperparametreleri değiştirin; ama etiketi, kesme noktasını ve bölmeyi sabit tutun. Bu üçünden birini değiştirdiğiniz anda önceki tüm sonuçlar karşılaştırılamaz hale gelir.
- 5Teslim sözleşmesini yaz
Eşik, servis deseni, izleme sinyalleri, yeniden eğitim tetikleyicisi ve adı yazılı bir sahip. Bu sözleşme yoksa model teslim edilmemiş, yalnızca eğitilmiştir.
Teslim sözleşmesi#
- Eşik ve eylem: hangi skorun üstünde ne yapılacağı ve bu eşiğin hangi kapasiteye göre kurulduğu tek cümleyle yazılır.
- Servis deseni ve gecikme bütçesi: tahmin toplu mu üretiliyor yoksa istek anında mı, ve üretilen tahmin ne kadar süre geçerli sayılıyor.
- İzleme sinyalleri dört ayrı seri olarak tanımlanır: girdi dağılımı, tahmin dağılımı, eylem hacmi ve gecikmeli gerçek sonuç. İlk üçü hemen, dördüncüsü geç gelir.
- Yeniden eğitim tetikleyicisi ve geri alma sözleşmesi: bir önceki bölümde yazdığınız sayfa teslim paketinin parçasıdır, ayrı bir belge değil.
- Sahip ve alarm alıcısı: adı yazılı bir kişi veya ekip. Alıcısı olmayan alarm birkaç hafta içinde gürültü sayılıp susturulur.
Sık yapılan hata#
Sahada en sık görülen tablo şudur: metrikler iyi, model dağıtılmış, kimse çıktısına göre bir şey yapmıyor. Nedeni neredeyse her zaman aynıdır — eşik, bir eylem kapasitesine göre değil metrik eğrisinin en güzel göründüğü noktaya göre seçilmiştir. Diyelim ki ekip bir günde iki yüz vakayı işleyebiliyor; o ekibe iki bin satırlık bir uyarı listesi vermek, listenin tamamen görmezden gelinmesiyle sonuçlanır. Eşiği kapasiteye göre kurmak kâğıt üstündeki metriği bir miktar kötüleştirse bile gerçekten kullanılan bir sistem üretir; kullanılmayan bir modelin metriği ise sıfırdır.
LAB · UYGULAMALI ALIŞTIRMA
Kendi probleminizin karar sayfasını ve taban çizgisini kurun
- 1Elinizdeki bir tahmin fikrini tek cümleye indirin: kim, ne zaman, hangi eşiğin üstünde hangi eylemi yapacak. Cümleyi sayfanın en üstüne yazın.
- 2Aynı sayfaya etiketin tanımını, hangi kayıttan okunduğunu ve karar anını yazın; kararın verilmesi ile etiketin gerçekleşmesi arasında kaç gün geçtiğini not edin.
- 3Veri tablonuzdaki her sütun için 'bu değer karar anında biliniyor muydu' sorusunu cevaplayın; hayır olanları ayrı bir listeye taşıyın ve eğitimden çıkarın.
- 4Zaman eksenine göre bölün: eğitim penceresi geçmiş bir dönem, doğrulama penceresi ondan sonraki dönem olsun. Rastgele bölme yapmayın ve iki pencerenin tarih aralığını yazın.
- 5Model yazmadan bir taban çizgisi üretin (ör. geçmiş dönemin oranı ya da tek eşikli basit bir kural) ve doğrulama penceresinde birincil metriği hesaplayın.
- 6Eylem kapasitenizi bir sayı olarak yazın ve taban çizgisinin eşiğini o kapasiteye göre ayarlayın; kapasiteye sığan liste gerçek vakaların ne kadarını yakalıyor, ölçün ve sayfaya ekleyin.
Beklenen çıktı
Tek sayfalık proje sözleşmesi ve model yazılmadan ölçülmüş bir taban çizgisi: karar cümlesi, etiket tanımı, kesme noktasına göre elenmiş sütun listesi, zaman bölmesi, kapasiteye göre ayarlanmış eşik ve o eşikteki yakalama oranı.
Sık sorulan sorular
Taban çizgisi kurmak zaman kaybı değil mi, sonuçta model daha iyi olacak?
Taban çizgisi üç işi birden yapar ve hiçbiri modelle ikame edilemez. Birincisi, modelin aşması gereken sayıyı verir; o sayı olmadan 'iyi' bir metrik anlamsızdır. İkincisi, veri hattını ve değerlendirme kodunu model karmaşıklığı olmadan test eder; bu aşamada çıkan hatalar en ucuz hatalardır. Üçüncüsü, model gecikirse ya da geri alınırsa servis edilebilecek bir yedek bırakır. Bazı projelerde taban çizgisinin kapasiteye göre ayarlanmış hali zaten yeterli çıkar; bunu erken görmek kaynak kazandırır.
Vakada hangi model ailesiyle başlamalıyım?
Hatalarını açıklayabildiğiniz aile ile başlayın. Uçtan uca bir projenin ilk turunda asıl iş modelin son noktayı bulması değil, hattın doğru kurulduğunu göstermesidir; bunun için hangi vakada neden yanıldığını inceleyebilmeniz gerekir. Model ailesi değiştirmek projenin en ucuz kararıdır ve etiketi, kesme noktasını ve bölmeyi sabit tuttuğunuz sürece istediğiniz zaman geri dönebilirsiniz. Pahalı kararları erken ve dikkatle, ucuz kararları geç ve rahatça verin.
Proje bittikten sonra sahiplik kimde kalır?
Adı yazılı bir kişi ya da ekipte. Bu, teslim sözleşmesinin isteğe bağlı bir maddesi değil işleyen kısmıdır: izleme sinyalleri bir alıcıya gitmiyorsa alarmlar birkaç hafta içinde susturulur, susturulan alarm olunca yeniden eğitim tetikleyicisi de çalışmaz. Sahip belirlenmediğinde model teknik olarak ayakta kalır ama bakımsız kalır; bozulma o noktadan sonra sessiz ilerler ve genellikle bir iş şikâyetiyle fark edilir.
LEARN
Machine Learning Engineer rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.