Derin öğrenmeye geçiş eşiği
Derin öğrenmenin hangi veri yapısında kazandığını, tablo verisinde ağaçların neden güçlü kaldığını ve geçiş kararının taban çizgisiyle nasıl sınanacağını öğretir.
Önkoşul: Machine Learning, Evaluation
BU DERSİN SONUNDA
- Derin öğrenmenin otomatikleştirdiği adımı ve bunun bedelini adlandırmak
- Veri türüne göre makul bir başlangıç modeli seçmek
- Etiket bütçesine göre donmuş temsil ile ince ayar arasında karar vermek
- Model ailesi karşılaştırmasını eşit bütçeyle adil biçimde kurmak
- 1
Teori
Kavramın çalışma mantığı
- 2
Örnek
Gerçek bir senaryo üzerinde gösterim
- 3
Lab
Uygulamalı alıştırma
- 4
Test
Kısa ölçüm
- 5
Proje
Rotadaki projeye katkı
Kısa cevap
Derin öğrenme, özelliği elle çıkarmanın pahalı ya da imkânsız olduğu veri türlerinde kazanır: görüntü, ses, serbest metin, uzun diziler. Satır-sütun biçimindeki tablo verisinde gradyan artırmalı ağaçlar hâlâ güçlü bir varsayılandır. Geçiş kararı "daha modern olan" ile değil, üç soruyla verilir: girdide öğrenilecek bir yapı var mı, etiket bütçesi yetiyor mu, kazanç bakım yükünü karşılıyor mu?
Teori: derin öğrenme neyi otomatikleştirir#
Klasik makine öğrenmesinde başarının büyük kısmı özellik mühendisliğinden gelir: insan, ham sinyali modele anlamlı hale getirir. Sinir ağı bu adımı katman katman öğrenilen temsile devreder; mühendisin yazdığı özellik yerine modelin kendi çıkardığı ara gösterim geçer. Devrin bedeli üç kalemde ödenir: daha çok etiketli örnek, daha çok hesap ve daha çok hiperparametre kararı.
Bu devrin kârlı olması için verinin, mimarinin varsaydığı yapıyı taşıması gerekir. Evrişim uzamsal yerelliği, tekrarlayan yapılar sıralı bağımlılığı, grafik ağları komşuluğu varsayar. Dikkat temelli yapılar ise sırayı kendiliğinden varsaymaz; öğeler arasındaki ilişkiyi doğrudan öğrenir ve sıra bilgisini ancak konum kodlaması eklendiğinde görür. Varsayım tuttuğunda model belirgin bir avantajla başlar; tutmadığında elde yalnızca çok parametreli bir fonksiyon yaklaştırıcısı kalır ve avantaj kaybolur.
Tablo verisinde böyle bir yapı çoğu zaman yoktur: sütunların sırası anlamsızdır, ölçekleri birbirine benzemez, eksik değer ve yüksek kardinaliteli kategorikler boldur. Ağaçlar bu düzensizliğe doğal olarak uyar; eşik bölmesi ölçekten ve monoton dönüşümlerden etkilenmez, eksik değer bir yön kararı olarak öğrenilebilir. Aynı işleri sinir ağı için elle yapmak gerekir: ölçekleme, gömme katmanı, doldurma stratejisi.
Veri türüne göre varsayılan#
| Veri türü | Makul başlangıç | Derin öğrenmeye ne zaman | Gerekçe |
|---|---|---|---|
| Tablo (satır-sütun) | Gradyan artırmalı ağaç | Çok yüksek kardinaliteli kimlik/metin alanları veya aynı gövdeye çok görev takılacaksa | Sütunlar arası yapı zayıf; ağaçlar ölçek ve eksik değere dayanıklı |
| Görüntü | Önceden eğitilmiş görüntü ağının temsili | Neredeyse her zaman | Piksel uzayında elle özellik çıkarmak pratik değil |
| Serbest metin | Kelime torbası ile taban çizgisi | Taban çizgisi anlam ve sıra gerektiren örneklerde takıldığında | Anlam bağlama ve sıraya bağlı; torba modeli bunu göremez |
| Zaman serisi | Klasik yöntem ve elle çıkarılmış pencere özellikleri | Çok sayıda seri ortak desen paylaşıyorsa | Tek seride ağın öğreneceği örnek sayısı yetmez |
| Ses | Önceden eğitilmiş ses temsili | Neredeyse her zaman | Ham dalga formunda elle özellik çıkarımı dar kalır |
| Grafik / ağ | Elle çıkarılmış komşuluk özellikleri ile ağaç | Karar için gereken yayılım derinliği elle özelliği aştığında | Derin komşuluk bilgisini elle kodlamak katlanarak zorlaşır |
Etiket bütçesi ve transfer#
Sıfırdan derin ağ eğitmek büyük etiketli veri ister, ama pratikte ilk adım bu değildir. Önceden eğitilmiş bir temsili dondurup üstüne küçük bir sınıflandırıcı takmak az etiketle çalışır ve çoğu zaman eğitimi sıradan bir tablo problemine indirger. İnce ayar bir sonraki adımdır: daha fazla etiket, daha dikkatli öğrenme oranı ve daha ciddi aşırı uyum riski getirir. Sıra nettir — donmuş temsil, sonra son katmanları açma, sonra tam ince ayar.
Karar akışı#
- 1Taban çizgisini kur
En basit makul model ve dürüst bir bölme ile metriği yazın; bu sayı olmadan hiçbir karşılaştırma anlam taşımaz.
- 2Tavanı tahmin et
Aynı örneği iki kişi veya iki kural nasıl etiketliyor? Etiket gürültüsü tavanı belirler; tavan düşükse düzeltilecek şey model değil etiketleme sürecidir.
- 3Ham sinyali sor
Modele giren şey elle özetlenmiş bir tablo mu, yoksa ham piksel, dalga veya metin mi? Ham sinyal varsa derin öğrenme gerçekten masadadır.
- 4Bütçeyi yaz
Etiket miktarı, yeniden eğitim sıklığı, çıkarım gecikme sınırı ve ekibin bu yığını sürdürme kapasitesi.
- 5Kademeli geç
Önce donmuş temsil ve basit bir sınıflandırıcı; kazanç ölçülebilirse ince ayara ilerleyin.
Sık yapılan hata#
En sık hata taban çizgisiz geçiştir: ağ eğitilir, makul görünen bir metrik çıkar ve aynı veriyle kurulmuş basit bir modelin ne vereceği hiç ölçülmemiştir. İkincisi adil olmayan karşılaştırma: ağaç modeline haftalarca işlenmiş özellikler verilirken ağa ham sütunlar sunulur ya da tersi. Üçüncüsü zaman sızıntısıdır ve karmaşık model bunu gizler; çünkü sonuç olması gerekenden iyi çıktığında karmaşık modele hayranlık, basit modele şüphe duyulur.
LAB · UYGULAMALI ALIŞTIRMA
Geçiş kararını eşit bütçeyle sınayın
- 1Elinizdeki problemde zamana veya gruba göre dürüst bir eğitim/doğrulama bölmesi kurun ve bölme kuralını yazıya dökün.
- 2Taban çizgisi olarak gradyan artırmalı bir ağaç modelini varsayılan ayarlarıyla eğitin; doğrulama metriğini ve eğitim süresini not edin.
- 3Aynı bölmede ikinci adayı kurun: ölçeklenmiş sayısal ve kodlanmış kategorik girdilerle küçük bir ileri beslemeli ağ eğitin. Ortamınızda hazır bir önceden eğitilmiş temsil varsa onu dondurup üstüne basit bir sınıflandırıcı takmayı üçüncü aday olarak ekleyin; yoksa bu adımı atlayın, karşılaştırma yine kurulur.
- 4Her adaya eşit hiperparametre arama bütçesi verin (her biri için aynı sayıda deneme) ve bu bütçeyi denemeden önce yazın.
- 5Sonuçları üç sütunda karşılaştırın: doğrulama metriği, eğitim ve çıkarım süresi, bakım yükü (kaç ayar, kaç bağımlılık, kaç özel adım).
- 6Kazanç bakım yükünü karşılamıyorsa kararı "taban çizgisinde kal" olarak yazın; karşılıyorsa hangi eşiği geçtiği için geçtiğinizi tek paragrafta kaydedin.
Beklenen çıktı
Eşit bütçeyle kurulmuş model adaylarının metrik, süre ve bakım yükü karşılaştırması ve gerekçesi yazılı bir geçme ya da kalma kararı.
Sık sorulan sorular
Tablo verisinde sinir ağı hiç kullanılmaz mı?
Kullanılır. Çok yüksek kardinaliteli kategorikleri gömme ile temsil etmek, aynı gövde üzerine birden çok görev takmak veya tabloyu metin ve görüntüyle birlikte tek modelde birleştirmek gerektiğinde anlamlıdır. Karar veri türünün etiketinden değil, girdinin bileşiminden gelir.
Daha çok veri her zaman derin öğrenmeyi öne geçirir mi?
Hayır. Veri artışı ancak yeni sinyal ve çeşitlilik getiriyorsa kapasiteyi kullandırır; aynı dağılımın daha fazla kopyası ek bilgi taşımaz. Ayrıca etiket gürültüsü bir tavan koyar: gürültü tavanına yaklaşmış bir problemde hiçbir model ailesi ciddi fark üretmez.
Hızlandırıcı donanımım yoksa derin öğrenme kapalı mı?
Hayır. Önceden eğitilmiş bir temsili bir kez çıkarıp özellik olarak saklamak ve üstüne klasik bir model eğitmek sıradan bir işlemcide yapılabilir. Asıl donanım maliyeti ince ayarda ve sıfırdan eğitimde ortaya çıkar; o adıma geçmeden önce donmuş temsilin ne kazandırdığını ölçün.
LEARN
Machine Learning Engineer rotasına devam et
Dersler tek başına da okunabilir, ama sıralı ilerlemek önkoşul boşluklarını kapatır.