Katman, ağırlık ve öğrenme döngüsü

Teori: tek birimin yaptığı iş#

Bir birimin yaptığı iş şudur: gelen her sayıyı kendine ait bir ağırlıkla çarpar, hepsini toplar, bir sapma değeri ekler ve çıkan sayıyı eşikleyen bir işlevden geçirir. Ağırlık, o girdinin kararda ne kadar söz sahibi olduğunu tutar. Eğitimden önce rastgeledir; eğitim boyunca değişen tek şey de odur.

Doğrusal olmayan işlev şarttır, çünkü ağırlıklı toplamların üst üste konması yine bir ağırlıklı toplam verir: on katman da koysanız tek katmanlık bir modelden fazlasını temsil edemezsiniz. Araya doğrusal olmayan bir adım girdiğinde katmanlar birbirinin üzerine gerçekten bir şey inşa etmeye başlar.

def birim(girdiler, agirliklar, sapma):
    """Tek bir yapay noron: agirlikli toplam ve dogrusal olmayan esik."""
    toplam = sapma
    for x, a in zip(girdiler, agirliklar):
        toplam += x * a
    return max(0.0, toplam)  # negatifi sifirlayan basit esik


# Egitimde degisen tek sey agirliklar ve sapma; girdi ve islev sabittir.

Katmanlar ne kazandırır?#

Her katman, bir önceki katmanın çıktısını girdi olarak alır. Görüntüyle çalışan bir ağda ilk katmanların yakaladığı şey kenar ve renk geçişi gibi çok yerel desenlerdir; orta katmanlar bunları köşe ve doku parçalarına, üst katmanlar nesne parçalarına bağlar. Bu kademeyi kimse elle tasarlamaz; hangi katmanın neye bakacağı, hatayı azaltma baskısı altında kendiliğinden ortaya çıkar.

Öğrenme döngüsü#

1. 1İleri geçiş

   Girdi katmanlardan geçer ve ağ bir tahmin üretir.

2. 2Hata ölçümü

   Tahmin ile doğru cevap arasındaki fark tek bir kayıp sayısına indirgenir.

3. 3Sorumluluk dağıtımı

   Kayıp geriye doğru yayılır; her ağırlığın hataya katkısı hesaplanır.

4. 4Ağırlık güncelleme

   Her ağırlık, katkısıyla orantılı ve küçük bir adımla düzeltilir.

5. 5Tekrar

   Döngü veri üzerinde defalarca dolaşır; doğrulama hatası düşmeyi bıraktığında durulur.

Ödünleşim#

• Kapasite ve veri birlikte artmalı: katman ve birim sayısını artırmak, elinizde o kapasiteyi doldurup genelleştirecek veri yoksa yalnızca ezberi hızlandırır.
• Adım boyu çok büyükse hata iniş yerine salınır, çok küçükse öğrenme takılır; bu ayara eğitim eğrisine bakmadan karar verilemez.
• Ağın kararı bir ağırlık tablosudur; uygulanan kuralı okuyarak göremez, ancak girdiyi değiştirip çıktının nasıl oynadığına bakarak inceleyebilirsiniz.
• Aynı veriyle iki kez eğitilen ağ, rastgele başlangıç ve karıştırma yüzünden birebir aynı ağırlıkları vermez; tekrarlanabilirlik ayrı bir emek ister.
• Derinlik her problem için gerekli değildir: az sütunlu tablo verilerinde daha basit yöntemler aynı işi daha az veriyle ve daha açıklanabilir biçimde yapar.

Sık yapılan hata#

Yaygın yanılgı, katman eklemenin doğruluğu kendiliğinden artıracağını sanmaktır. Daha derin ağ daha fazla ayar demektir; ayar sayısı arttıkça ağın eğitim verisini ezberleme kabiliyeti de artar. Bir önceki derste kurduğunuz ayrım burada aynen geçerlidir: derinliğin işe yarayıp yaramadığına doğrulama kümesindeki hata karar verir, eğitim kaybının düşmesi değil.