Evrişim, havuzlama ve alıcı alan

Teori: ağırlık paylaşımı ne satın alır?#

Tam bağlı bir katman her piksel için ayrı ağırlık tutar: parametre sayısı görüntü boyutuyla birlikte büyür ve sol üstte görülen bir kenar ile sağ altta görülen aynı kenar birbirinden bağımsız olarak öğrenilir. Evrişim bunun yerine k×k×giriş_kanalı×çıkış_kanalı kadar ağırlık tutar; bu sayı girdi çözünürlüğünden bağımsızdır. Aynı süzgeç her konumda gezdiği için tek bir örüntü tek bir kez öğrenilir.

Sık karıştırılan iki kavramı ayırmak gerekir. Evrişim kaymaya eşdeğişimlidir: girdi kayarsa çıktı haritası da aynı miktarda kayar; yani konum bilgisi silinmez, çıktıya taşınır. Kaymaya değişmezlik, yani nesne nerede olursa olsun aynı kararın üretilmesi, evrişimden değil havuzlama ve özellikle sonda gelen global havuzlamadan gelir. Sınıflandırma başında değişmezlik istenir; tespit ve segmentasyonda ise konum bilgisini erken harcamamak gerekir.

Alıcı alan nasıl büyür?#

Alıcı alan, çıkış haritasındaki bir hücrenin girdide baktığı kenar uzunluğudur ve tanımdan çıkan basit bir özyinelemeyle hesaplanır: her katman alıcı alanı (etkin çekirdek − 1) × o ana kadarki adım aralığı kadar büyütür, adım aralığı ise katmanın adımıyla çarpılır. Genişletilmiş (dilated) evrişimde etkin çekirdek, genişletme × (çekirdek − 1) + 1 olur. Bu yüzden adım artırmak sonraki bütün katmanların etkisini büyütür; ucuz görünen bir kararın alıcı alana etkisi bileşiktir.

def alici_alan(katmanlar):
    """katmanlar: [(cekirdek, adim, genisletme), ...] girdiden cikisa dogru."""
    r, j = 1, 1              # r: alici alan, j: girdideki adim araligi
    izleme = []
    for cekirdek, adim, genisletme in katmanlar:
        etkin = genisletme * (cekirdek - 1) + 1
        r = r + (etkin - 1) * j
        j = j * adim
        izleme.append((r, j))
    return izleme


# Uc adet 3x3 evrisim ve arada 2x2 havuzlama:
alici_alan([(3, 1, 1), (3, 1, 1), (2, 2, 1), (3, 1, 1)])
# -> [(3, 1), (5, 1), (6, 2), (10, 2)]  : son katmanda 10 piksel, adim araligi 2

Yapı taşları ve bedelleri#

Mimari aileleri#

• Düz yığın: aynı blok arka arkaya. Okuması kolaydır; derinlik arttıkça eniyileme zorlaşır ve eğitim kararsızlaşır.
• Artık bağlantı: blok çıktısına girdinin kendisi eklenir. Katmanın öğrenmesi gereken şey tüm dönüşüm değil ondan sapma olur, gradyan derin yığında daha rahat yol bulur.
• Darboğaz bloğu: 1×1 ile kanalı düşür, 3×3 ile uzamsal işi yap, 1×1 ile geri genişlet. Aynı derinliği belirgin biçimde daha az çarpımla kurar.
• Derinlik-ayrık evrişim: uzamsal süzme ile kanal karıştırmayı iki ayrı adıma böler. Çarpım sayısı düşer, ancak bellek erişimi baskın hale geldiği için kazanç donanıma göre değişir.
• Çok ölçekli birleştirme: farklı çözünürlükteki haritaları birleştirir; küçük ve büyük nesnelerin aynı ağda ele alınmasını sağlar.

Karar: omurga nasıl seçilir#

1. 1Hedefin piksel boyutunu çıkarın

   Ele alacağınız en küçük nesnenin, girdi çözünürlüğüne ölçeklendiğinde kaç piksel kenara sahip olduğunu kendi verinizden ölçün.

2. 2Gereken alıcı alanı belirleyin

   Karar bağlam istiyorsa (nesne ancak çevresiyle birlikte anlaşılıyorsa) alıcı alan nesneden belirgin biçimde büyük olmalıdır.

3. 3Büyütme yolunu seçin

   Alıcı alanı büyütmenin üç yolu vardır: katman eklemek, adım artırmak, genişletme kullanmak. Adım artırmak en ucuzudur ama konum çözünürlüğünü harcar.

4. 4Bütçeyi sayıya dökün

   Bellek, gecikme ve eğitim süresi sınırlarını önceden yazın; mimari seçimi bu sınırların altında kalan adaylar arasında yapılır.

5. 5Veri miktarına bakın

   Az etiketli veride, güçlü yerleşik varsayımı olan ve önceden eğitilmiş ağırlığı bulunan bir omurga, kapasitesi yüksek ama varsayımı zayıf bir mimariden daha güvenlidir.

Sık yapılan hata#

En sık görülen yapısal hata, kararın verildiği katmanın alıcı alanının hedeften küçük kalmasıdır: ağ nesneyi bir bütün olarak hiç görmeden sınıflandırmaya çalışır ve doku benzerliğine takılır. İkinci hata, derinliği kör bir iyileştirme sanmaktır; derinlik alıcı alanı ve soyutlamayı büyütür ama eniyileme zorluğunu ve aşırı uyum riskini de büyütür. Üçüncüsü toplu normalleştirme katmanını çıkarımda eğitim kipinde bırakmaktır: istatistik toplu işten hesaplanmaya devam eder ve aynı görüntü, yanındaki görüntülere göre farklı sonuç verir.