Doğrusal modeller ile ağaç toplulukları arasında seçim
Doğrusal modellerin ve ağaç topluluklarının hangi varsayımla çalıştığını, torbalama ile gradyan artırmanın hangi hata bileşenini azalttığını ve hiperparametrelerin aşırı uydurmayı hangi yöne çevirdiğini öğretir.
Önkoşul: Machine Learning
BU DERSİN SONUNDA
- Doğrusal ve ağaç tabanlı modellerin taşıdığı varsayımları ayırt etmek
- Torbalama ile gradyan artırmanın hangi hata bileşenini azalttığını açıklamak
- Hiperparametreleri aşırı uydurma yönüne göre ayarlamak
- Bir problemde hangi model ailesiyle başlanacağını gerekçelendirmek
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Doğrusal model, hedefin girdilerin ağırlıklı toplamıyla açıklandığını varsayar; varsayımı güçlü olduğu için az veriyle çalışır, eğitim aralığının dışına tahmin üretebilir ve katsayıları okunur. Ağaç toplulukları ise uzayı eksenlere paralel dilimlere böler: varsayımı zayıftır, etkileşimi kendiliğinden yakalar, ama gördüğü aralığın dışına çıkamaz. Seçim bir doğruluk yarışı değil, verinin yapısına uyan varsayımı seçmektir.
Teori: iki farklı önyargı#
Doğrusal modelin öğrendiği şey her değişken için tek bir eğimdir. Bu eğim tüm veri aralığında geçerli sayılır; model bu yüzden hiç görmediği bir aralıkta da tahmin üretebilir. Aynı katılık, gerçek ilişki doğrusal değilse yanlılık üretir: model her yerde aynı eğimi zorlar ve sistematik olarak sapar. Düzenlileştirme, yani katsayıları küçülten ya da bir kısmını sıfırlayan ceza terimleri, bu ailede varyansı denetlemenin ana aracıdır.
Karar ağacı bölgesel çalışır: her yaprak, kendi bölgesindeki ortalamayı verir. Etkileşimi iç içe geçen bölmelerle doğal olarak temsil eder ve değişken ölçeğine duyarsızdır. Bedeli ikidir: tek ağaç veriye kolayca aşırı uyar ve model eğitim aralığının dışında sabit kalır, çünkü yaprak ortalamasından başka verecek cevabı yoktur. Zamanla büyüyen bir büyüklüğü doğrudan tahmin ettirirken bu sınır kritiktir.
Topluluklar birinci sorunu iki farklı yoldan çözer. Torbalama, birbirinden bağımsız eğitilmiş ağaçların ortalamasını alır: her ağaç ayrı bir örneklem ve ayrı bir değişken alt kümesi gördüğü için hataları kısmen bağımsızdır, ortalama varyansı düşürür. Gradyan artırma ise ağaçları sırayla ekler; her yeni ağaç bir öncekinin artık hatasına uyar, yani yanlılığı adım adım azaltır. Bu yüzden artırmada aşırı uydurma ağaç sayısı arttıkça büyür ve bir durdurma ölçütü zorunludur; torbalamada ağaç eklemek genellikle zarar vermez.
Örnek: hangi varsayım nerede tutar#
| Durum | Uygun aile | Gerekçe |
|---|---|---|
| Az satır, az sayıda değişken | Düzenlileştirilmiş doğrusal model | Güçlü varsayım varyansı düşürür; ağaç bu veride ezberler |
| Heterojen tablo verisi, çok etkileşim | Gradyan artırma | Etkileşim ve eşikler elle yazılmadan yakalanır |
| Tahminin eğitim aralığının dışına çıkması gerekiyor | Doğrusal model ya da trendi ayrıştırıp kalanı modellemek | Ağaç yaprak ortalamasının ötesine geçemez |
| Katsayıların denetime açıklanması gerekiyor | Doğrusal model | Her değişkenin yönü ve büyüklüğü doğrudan okunur |
| Metin, görüntü, ses gibi yapısız girdi | Sinir ağı temelli model | Ham sinyalden temsil öğrenmeyi bu aile yapar |
| Çok sayıda kategorik alan, orta büyüklükte veri | Gradyan artırma | Kategorik bölme ve eksik değer işleme çoğu gerçeklemede hazır gelir |
Hiperparametreler hangi yöne çeker#
| Hiperparametre | Ne yapar | Aşırı uydurma yönü |
|---|---|---|
| Ağaç derinliği | Bir ağacın yakalayabileceği etkileşim mertebesini belirler | Arttıkça aşırı uydurmaya |
| Yaprakta en az örnek sayısı | Bir yaprağın temsil ettiği bölgenin küçülmesini sınırlar | Azaldıkça aşırı uydurmaya |
| Öğrenme hızı (artırmada) | Her yeni ağacın katkı ağırlığı | Arttıkça aşırı uydurmaya; düşürülürse daha çok ağaç gerekir |
| Ağaç sayısı (artırmada) | Ardışık düzeltme adımı sayısı | Arttıkça aşırı uydurmaya; erken durdurmayla sınırlanır |
| Ağaç sayısı (torbalamada) | Ortalaması alınan bağımsız ağaç sayısı | Genellikle nötr; varyans düşer, maliyet artar |
| Ceza katsayısı (doğrusal) | Katsayıların büyüklüğünü cezalandırır | Azaldıkça aşırı uydurmaya |
| Satır ve kolon örnekleme oranı | Her ağacın gördüğü veri payını belirler | Arttıkça aşırı uydurmaya |
Karar: hangi sırayla denenir#
- 1Temel çizgiyi kur
Birinci bölümdeki kural ya da sabit tahmin; bütün karşılaştırmaların referansı odur.
- 2Düzenlileştirilmiş doğrusal modelle başla
Hızlı, kararlı ve yorumlanabilir; veri hattındaki hataları en çabuk bu model açığa çıkarır.
- 3Gradyan artırmaya geç
Doğrusal model temel çizgiyi anlamlı biçimde geçtiyse aynı hat üzerinde artırmayı deneyin; kazanç varsa yapı doğrusal değildir.
- 4Kazancı maliyetle tart
Ek karmaşıklık eğitim süresi, açıklanabilirlik ve bakım yükü getirir; kazanç bu bedeli karşılamıyorsa basit modelde kalın.
Sık yapılan hata#
Yaygın hata, hiperparametre aramasını doğrulama tasarımından önce yapmaktır. Ayrım yanlışsa arama gerçekte olmayan bir sinyali kovalar ve "en iyi" bulunan ayar genellikle sızıntıyı en çok kullanan ayardır. İkinci yaygın hata, ağaç modellerinin ürettiği önem sıralamasını nedensellik gibi okumaktır: önem, o değişkenin bölmelerde ne kadar kullanıldığını söyler ve yüksek kardinaliteli değişkenler bölünecek çok nokta sunduğu için sıralamada haksız yere yükselir.
- Doğrusal modelde katsayıları yorumlamadan önce değişkenleri standartlaştırın; aksi halde büyüklükler karşılaştırılamaz.
- Ağaç toplulukları olasılık üretir ama kalibre olmayabilir; eşik kararı verecekseniz kalibrasyonu ayrıca kontrol edin.
- Artırmada erken durdurma için ayrı bir küme gerekir; bu küme aynı zamanda model seçiminde kullanılırsa iyimserlik girer.
- Ağaç modelleri eksik değeri çoğu gerçeklemede kendi işler; doldurma yaparak bu davranışı farkında olmadan devre dışı bırakabilirsiniz.
- Monoton kısıt desteği varsa, iş kuralının bildiği yönü modele dayatmak hem güveni hem kararlılığı artırır.
LAB · UYGULAMALI ALIŞTIRMA
Üç kurulumu aynı hatta karşılaştırın
- 1Dördüncü bölümde kurduğunuz hattı kullanarak temel çizgi, düzenlileştirilmiş doğrusal model ve gradyan artırma olmak üzere üç kurulum hazırlayın.
- 2Üçünü de altıncı bölümde donduracağınız ayrım tasarımının aynısıyla çalıştırıp metriğin katlamalar arası ortalamasını ve yayılımını kaydedin; yayılım modeller arası farktan büyükse karşılaştırma henüz karar verdirmez.
- 3Gradyan artırmada öğrenme hızını iki farklı değerde deneyip her birinde doğrulama metriğinin ağaç sayısına göre nasıl değiştiğini eğri olarak çizin.
- 4Eğrinin tepe yaptığı ağaç sayısını not edip erken durdurmanın aynı noktayı bulup bulmadığını kontrol edin.
- 5Doğrusal modelin en büyük beş katsayısı ile artırma modelinin en önemli beş değişkenini yan yana koyup farkları yorumlayın.
- 6Sayısal bir girdinin eğitimde görülen aralığının dışında kalan birkaç yapay kayıt üretip iki modelin tahminlerini karşılaştırın.
Beklenen çıktı
Üç kurulumun aynı ayrım üzerindeki metrik, süre ve yorumlanabilirlik karşılaştırması ile eğitim aralığı dışındaki davranışı gösteren gerekçeli bir aile seçimi.
Sık sorulan sorular
Ağaç toplulukları her zaman doğrusal modeli geçer mi?
Hayır. Veri az, gürültü yüksek ya da gerçek ilişki büyük ölçüde toplamsal olduğunda düzenlileştirilmiş doğrusal model daha kararlı sonuç verir. Ayrıca doğrusal model eğitim aralığının dışına tahmin üretebildiği için trend içeren problemlerde yapısal bir avantaja sahiptir.
Torbalama ile artırmayı birlikte kullanabilir miyim?
Gradyan artırma gerçeklemelerinin çoğu zaten satır ve kolon örneklemesi içerir; bu, torbalama fikrinin artırmanın içine gömülmüş halidir. İki ayrı aileyi topluluk olarak birleştirmek de mümkündür ama kazanç genellikle küçüktür ve bundan sonra iki ayrı hattı, iki ayrı ayar kümesini ve iki ayrı arıza biçimini birden sürdürmeniz gerekir; önce tek ailede ayar yapın.
Hiperparametre aramasını nasıl sınırlandırırım?
Etkisi en büyük birkaç parametreyle başlayın: artırmada öğrenme hızı, derinlik ve erken durdurma; doğrusal modelde ceza katsayısı. Geniş ızgara yerine rastgele arama aynı bütçede daha çok farklı değer dener. Her denemenin aynı doğrulama tasarımı üzerinde koşması ise aramanın kendisinden daha önemlidir.
LEARN
Machine Learning Engineer rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.