Geri yayılım ve eğitim dinamikleri

Teori: ileri geçiş, geri geçiş#

İleri geçişte girdi katmanlardan geçer, çıktı ve kayıp hesaplanır; ara etkinleştirmeler saklanır. Geri geçişte aynı hesap grafiği ters yönde yürünür ve her düğümde yerel türev çarpılır. Yöntemin ucuz olmasının nedeni paylaşımdır: bir ara gradyan, yukarısındaki bütün yollar tarafından yeniden kullanılır. Bu sayede maliyet parametre başına bir geçiş değil, ileri geçişle aynı mertebede kalır.

Çok sayıda yerel türevin çarpılmasının doğrudan bir sonucu var: çarpanlar sistematik olarak birden küçükse ilk katmanlara ulaşan sinyal sönümlenir, birden büyükse patlar. Artık bağlantılar, normalleştirme katmanları ve dikkatli başlatma bu çarpımın ölçeğini kullanılabilir aralıkta tutmak için vardır. Bunlar mimarinin süsü değil, derinliği mümkün kılan taşıyıcı unsurlardır.

Optimizasyon: adım büyüklüğü kararı#

Teşhis: kayıp eğrisi ne söyler#

• Eğitim kaybı hiç düşmüyor: öğrenme oranı çok küçük, etiket eşlemesi bozuk ya da kayıp fonksiyonu yanlış tensöre bağlanmış.
• Eğitim kaybı ıraksıyor veya tanımsız değere gidiyor: oran çok büyük, kırpma yok veya sayısal taşma var (sıfırın logaritması, sıfıra bölme).
• Eğitim düşüyor, doğrulama yükseliyor: aşırı öğrenme başladı; veri artırma, düzenlileştirme veya erken durdurma devreye girer.
• İkisi de yüksek bir düzlükte duruyor: kapasite veya eğitim bütçesi yetersiz.
• Doğrulama eğitimden belirgin biçimde iyi: önce iki sayının aynı koşulda ölçülüp ölçülmediğine bakın (bırakma ve veri artırma yalnızca eğitimde etkindir); koşul aynıysa bölme sızdırıyor ya da doğrulama seti kolay örneklerden oluşuyor demektir.
• Kayıp düşüyor ama iş metriği kıpırdamıyor: kayıp, ölçtüğünüz sonucun vekili değil; hedef tanımını gözden geçirin.

Zincir kuralı somut olarak#

import numpy as np


def ileri_geri(x, y, w, b):
    """Tek doğrusal katman + sigmoid + ikili çapraz entropi."""
    z = x @ w + b                              # ileri: doğrusal katman
    p = 1.0 / (1.0 + np.exp(-z))               # ileri: sigmoid
    kayip = -(y * np.log(p) + (1 - y) * np.log(1 - p)).mean()

    # geri: sigmoid ile çapraz entropinin türevi sadeleşir
    dz = (p - y) / len(y)                      # dKayip/dz
    dw = x.T @ dz                              # zincir kuralı: dKayip/dz * dz/dw
    db = dz.sum(axis=0)
    return kayip, dw, db

Üretimde bu hesabı çerçeve otomatik yapar; elle görmenin değeri başka yerde. Eğitim hatalarının büyük kısmı grafik hatasıdır: kopmuş bir tensör, yanlış maske, dolgu üzerinde hesaplanmış bir kayıp. Bunlar hiperparametre gibi görünür ama belirtileri farklıdır — gradyanın bir kolda tam sıfır olması ya da adımlar arasında hiç değişmemesi, ayar sorunu değil bağlantı sorunudur.

Boru hattını kanıtlamanın en hızlı yolu#

Bir avuç örnek alın ve modeli o örnekleri neredeyse tam ezberleyene kadar eğitin. Ezberleyebiliyorsa veri yolu, kayıp bağlantısı ve gradyan akışı çalışıyordur; sorun öğrenmenin zorluğundadır. Ezberleyemiyorsa hata ayarda değil kodda demektir. Bu sınama, “kod yanlış” ile “problem zor” arasındaki ayrımı dakikalar içinde verir ve saatlerce süren gereksiz hiperparametre taramasını önler.

Sık yapılan hata#

İki hata sık tekrar eder. Birincisi, kayıp kıpırdamadığında ilk refleks olarak hiperparametre taramasına girişmek; oysa veri yolunun doğruluğu kanıtlanmadan taranan her ayar boşa yakılan bütçedir. İkincisi, tohumu, veri sırasını ve bölmeyi sabitlemeden iki koşuyu karşılaştırıp mimari hakkında sonuç çıkarmaktır.