Keşifsel analizi karara bağlamak
Dağılım, aykırı değer ve eksik veri bulgularının hangi modelleme kararına dönüştüğünü; keşfin nerede durup özellik mühendisliğinin nerede başladığını öğretir.
Önkoşul: Machine Learning
BU DERSİN SONUNDA
- Bir dağılım bulgusunu somut bir modelleme kararına çevirmek
- Aykırı değerin hata mı yoksa nadir ama gerçek bir olay mı olduğunu ayırt etmek
- Eksikliğin mekanizmasına göre doldurma stratejisi seçmek
- Keşfi hangi veri bölümünde yürüteceğini gerekçelendirmek
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Keşifsel analiz grafik üretme işi değil, teşhis işidir. Her bulgunun karşılığında bir karar olmalı: bu kolon modele girecek mi, hangi dönüşümle girecek, aykırı değer düzeltilecek mi kırpılacak mı, eksiklik doldurulacak mı yoksa kendisi bir sinyal mi? Karara bağlanmayan grafik rapor süsüdür.
Teori: bulgudan karara#
Bir dağılımın şekli tek başına iyi ya da kötü değildir; hangi model ailesinin hangi varsayımla zorlanacağını söyler. Uzun kuyruklu bir hedefte kare hatayı küçülten her model kuyruğa aşırı duyarlı olur; bu bir kusur değil, seçilen kayıp fonksiyonunun tanımıdır. Ağaç tabanlı modeller de bundan muaf değildir, çünkü bölmeyi seçen ölçüt ile yaprak tahmini de aynı kareli hataya dayanır. Ağaçların duyarsız olduğu yer hedef değil girdi tarafıdır: sıralamayı koruyan bir dönüşüm girdi kolonunda ağaç için hiçbir şeyi değiştirmez, doğrusal modelde ise çok şey değiştirir. Yani "dağılım çarpık" gözlemi, hangi kolonda ve hangi model ailesiyle birlikte konuşulduğuna göre anlam kazanır.
Eksiklik üç farklı mekanizmadan gelebilir ve üçü farklı karar gerektirir. Eksiklik tamamen rastgeleyse doldurma sistematik bir sapma üretmez; yine de kolonun değişkenliğini azalttığı için belirsizlik olduğundan küçük görünür. Eksiklik başka bir gözlenen değişkene bağlıysa (örneğin belirli bir kanaldan gelen kayıtlarda alan hiç sorulmuyorsa) doldurmanın o değişkeni hesaba katması gerekir. Eksiklik değerin kendisine bağlıysa (yüksek gelirliler gelirini yazmıyorsa) doldurma sistematik bir sapma üretir; burada eksikliğin kendisi bir özelliktir.
Üçüncü bakış hedefin kendisidir: sınıf dengesi, hedefin zaman içindeki kayması ve segmentler arası farklar. Hedef oranı aylar içinde belirgin biçimde değişiyorsa, rastgele bölünmüş bir doğrulama kümesi gerçekte olmayan bir kararlılık varsayar. Bu bulgu doğrudan altıncı bölümdeki doğrulama tasarımını belirler.
Örnek: bulgu, anlam, karar#
| Bulgu | Olası anlamı | Karar |
|---|---|---|
| Sayısal kolonun tek bir değerinde yığılma var | Sistemin varsayılan değeri (0 ya da -1) eksikliği temsil ediyor | Varsayılanı gerçek eksiklik olarak işaretleyin, ayrı bir gösterge kolon açın |
| Hedef uzun kuyruklu | Az sayıda çok büyük değer kare hatayı domine ediyor | Ya dönüşüm uygulayın ya da kuyruğa daha az duyarlı bir kayıp seçin |
| Kategorik alanda çok sayıda benzersiz değer | Kimlik benzeri alan; model ezberleyebilir | Gruplayın, sıklık eşiğiyle "diğer" toplayın ya da tümden çıkarın |
| İki kolon neredeyse birebir aynı | Aynı bilginin iki kaynaktan kopyası | Birini seçin; doğrusal modelde ikisi birden katsayıları kararsızlaştırır |
| Eksiklik oranı segmentlere göre çok farklı | Eksiklik rastgele değil, sürece bağlı | Eksiklik göstergesini özellik yapın, körlemesine ortalamayla doldurmayın |
| Aykırı değerler tek bir kaynak sistemden geliyor | Birim ya da ölçek hatası (kuruş yerine lira, gram yerine kilogram) | Kaynakta düzeltin; kırpmak hatayı gizler |
Karar: aykırı değerle ne yapılır#
- 1Kaynağı sor
Değer fiziksel olarak mümkün mü? Negatif yaş ya da gelecek tarihli sipariş bir olay değil, bir hatadır.
- 2Hatayı düzelt ya da işaretle
Düzeltilebiliyorsa kaynakta düzeltin; düzeltilemiyorsa satırı silmek yerine değeri eksik olarak işaretleyin.
- 3Gerçek uçları tanı
Nadir ama gerçek olaylar (büyük kurumsal sipariş) çoğu zaman iş açısından en değerli kayıtlardır; onları silmek modeli tam da önemli yerde kör eder.
- 4Model ailesine göre karar ver
Ağaç tabanlı modeller uçlardan az etkilenir; doğrusal modellerde kırpma ya da dönüşüm gerekebilir. Kararı aileyle birlikte verin.
Keşif hangi veride yapılır#
Keşfi tüm veri üzerinde yapmak, farkında olmadan doğrulama kümesine bakmaktır. Eşikleri, dönüşüm parametrelerini ve "diğer" kategorisinin sınırını tüm veriye bakarak seçtiğinizde bu kararlar doğrulama kümesinin bilgisini taşır ve skoru iyimserleştirir. Ayrımı önce yapın, keşfi eğitim bölümünde yürütün; doğrulama kümesine ancak kararlar sabitlendikten sonra dokunun.
Sık yapılan hata#
En sık hata, keşfi özellik mühendisliğiyle karıştırmaktır. Keşif teşhis koyar, tedavi etmez: "bu kolon çarpık" bir bulgudur; "dönüşüm uygulayalım" ise bir sonraki bölümün konusu olan ve ölçülerek doğrulanması gereken bir müdahaledir. İkinci hata, korelasyon matrisine bakıp "hedefle korelasyonu düşük" diye kolon atmaktır; yalnızca etkileşim içinde değer taşıyan bir değişkenin tek başına korelasyonu sıfıra yakın olabilir.
- Modele girmeyecek kolonlar ve her biri için tek cümlelik gerekçe.
- Eksiklik oranı ve mekanizma tahmini yazılmış kolon listesi.
- Hata olduğu doğrulanan aykırı değerler ve düzeltme kararı.
- Hedefin zaman içindeki ve segmentler arasındaki dağılımı.
- Bir sonraki bölümde denenecek dönüşüm adayları.
LAB · UYGULAMALI ALIŞTIRMA
Bulgu-karar defteri tutun
- 1Veri kümenizi önce zaman ya da grup ölçütüne göre ayırın ve keşfi yalnızca eğitim bölümünde yapın.
- 2Her kolon için eksiklik oranını, benzersiz değer sayısını ve uç değerlerin sınırlarını tek bir özet tabloya çıkarın.
- 3Eksikliği en yüksek üç kolonu seçip eksikliğin başka bir kolona (kanal, tarih, segment) göre değişip değişmediğini karşılaştırmalı sayımla test edin.
- 4Aykırı değer taşıyan iki kolondan birer örnek satırı kaynak sistemde açıp değerin hata mı gerçek mi olduğunu doğrulayın.
- 5Her bulgunun karşısına tek cümlelik bir karar yazın; karar yazılamayan bulguyu defterden çıkarın.
- 6Hedef oranını hafta ya da ay bazında hesaplayıp zaman içinde kayma olup olmadığını not edin.
Beklenen çıktı
Her satırında bir bulgu, bulgunun olası nedeni ve alınan modelleme kararı bulunan; yalnızca eğitim bölümüne bakılarak üretilmiş bulgu-karar defteri.
Sık sorulan sorular
Kaç grafik çizmeliyim?
Sayı ölçüt değil. Ölçüt şu: çizdiğiniz grafik bir kararı değiştirebiliyor mu? Değiştiremiyorsa çizmeyin. Pratikte kolon başına bir dağılım ve hedefe göre bir kırılım çoğu kararı vermeye yeter; geri kalanı ancak şüphe uyandığında açılır.
Dengesiz sınıf gördüm, hemen yeniden örnekleme yapmalı mıyım?
Hayır. Dengesizlik bir bulgudur, doğrudan bir müdahale gerekçesi değil. Önce metriği kararın maliyetine göre seçin ve olasılık çıktısıyla eşik ayarlamayı deneyin. Müdahale gerekiyorsa şunu bilin: yeniden örnekleme de sınıf ağırlığı da modelin varsaydığı sınıf oranını değiştirir, yani ikisi de tahmin edilen olasılıkları kaydırır. Ağırlıklandırmanın farkı satır atmaması ya da çoğaltmamasıdır. Olasılığın kendisi kullanılacaksa müdahaleden sonra ayrı bir kalibrasyon adımı gerekir.
Eksik veriyi ortalamayla doldurmak neden sorunlu?
Ortalama doldurma değişkenliği yapay olarak azaltır ve eksikliğin taşıdığı bilgiyi siler. Eksiklik sürece bağlıysa bu bilgi değerlidir. Pratik başlangıç: eksikliği ayrı bir gösterge kolonla işaretleyin, doldurmayı da ayrımdan sonra yalnızca eğitim bölümünün istatistikleriyle yapın.
LEARN
Machine Learning Engineer rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.