Görsel transformerlar: yama gömme ve dikkat

Teori: görüntüden diziye#

Yama gömme göründüğünden basittir: P×P'lik örtüşmeyen bloklar alınır, düzleştirilir ve doğrusal bir izdüşümle sabit boyutlu vektöre çevrilir. Bu işlem, çekirdeği ve adımı P olan tek bir evrişim katmanına denktir. Yani görsel transformerın ilk katmanı da bir evrişimdir; fark, bundan sonrasının uzamsal komşuluk yerine dizi üzerinde dikkatle yürümesidir.

Dikkat, girdinin sırasına duyarsızdır: belirteçleri karıştırsanız çıktı da aynı biçimde karışır, ama hangi belirtecin nerede olduğu bilgisi kendiliğinden gelmez. Bu yüzden yama vektörlerine konum gömmesi eklenir. Uzamsal yapı artık mimaride yerleşik değil, öğrenilen ya da hesaplanan bir sinyalde taşınır; girdi boyutunu değiştirdiğinizde bu sinyalin de birlikte ölçeklenmesi gerekmesinin nedeni budur.

Evrişim ile dikkat: neyi değiş tokuş ediyoruz?#

Belirteç sayısı ve yama boyutu#

def belirtec_butcesi(yukseklik, genislik, yama):
    """Yama gommeden cikan belirtec sayisi ve maliyetin goreli olcegi."""
    if yukseklik % yama or genislik % yama:
        raise ValueError("Kenarlar yama boyutuna tam bolunmeli")
    n = (yukseklik // yama) * (genislik // yama)
    return {
        "belirtec": n,
        "dogrusal_olcek": n,      # izdusum ve MLP bilesenleri
        "dikkat_olcegi": n * n,   # belirtec cifti sayisi
    }


# Ornek varsayim: 224x224 girdi
belirtec_butcesi(224, 224, 16)   # 196 belirtec
belirtec_butcesi(224, 224, 8)    # 784 belirtec

Bu aritmetik tasarım kararlarının çoğunu tek başına açıklar. Yama kenarını yarıya indirmek belirteç sayısını dörde katlar; belirteçle doğrusal büyüyen bileşenlerin maliyeti dörde, belirteç çiftleri üzerinde çalışan dikkat matrisininki on altıya çıkar. Aynı çarpan girdi çözünürlüğünü iki katına çıkarmak için de geçerlidir. Yani ince ayrıntı isteyen bir görevde küçük yama seçmek bedava değildir; bütçe belirteç cinsinden yazılmadan çözünürlük ve yama boyutu kararı verilemez.

Pencereli ve hiyerarşik gövdeler#

Karesel büyümeyi kesmenin yaygın yolu dikkati yerel pencerelerle sınırlamaktır: maliyet belirteç sayısıyla yeniden doğrusallaşır. Ancak pencereler bilgi alışverişi yapmazsa alıcı alan hiç büyümez; bu yüzden pencereler katmanlar arasında kaydırılır, birleştirilir ya da küresel bir belirteç aracı olarak eklenir. Bu tasarımın ikinci faydası, yamaların kademeli birleştirilmesiyle bir çözünürlük piramidi kurulmasıdır: tespit ve segmentasyon başlıklarının beklediği çok ölçekli haritalar böylece doğal olarak ortaya çıkar.

Karar: hangi omurga?#

1. 1Ön eğitim var mı?

   Düz dikkat gövdeleri güçlü ön eğitimle anlam kazanır. Sıfırdan ve az veriyle eğitilecekse evrişimli omurga, yerleşik varsayımı sayesinde daha güvenli başlangıçtır.

2. 2Görev yoğun mu?

   Tespit ve segmentasyon çok ölçekli harita ister. Düz tek ölçekli bir gövde seçilecekse bu ölçekleri üretecek bir ara katman planlayın.

3. 3Çözünürlüğü belirleyin

   Hedefin piksel boyutu çözünürlüğü, çözünürlük ile yama boyutu birlikte belirteç sayısını belirler. Sıralama budur; ters yönde karar vermeyin.

4. 4Bütçeyi belirteç cinsinden yazın

   Bellek ve gecikme sınırını belirteç sayısı üzerinden ifade edin; pencereli dikkat, daha büyük yama veya hiyerarşik birleştirme bu sınırı tutturmanın üç ayrı yoludur.

5. 5Melez seçenekleri değerlendirin

   İlk katmanlarda evrişim, sonrasında dikkat kullanan tasarımlar yerellik varsayımını ucuz biçimde geri getirir ve az veride farkı kapatır.

Sık yapılan hata#

Birinci hata, küçük ve orta ölçekli bir sette düz bir dikkat gövdesini sıfırdan eğitmeye kalkmaktır: mimarinin vazgeçtiği varsayımların yerini dolduracak veri yoktur ve sonuç, aynı bütçedeki evrişimli omurganın gerisinde kalır. İkincisi girdi boyutunu değiştirip konum gömmesini olduğu gibi bırakmaktır; gömme iki boyutlu ızgara olarak yeniden örneklenmelidir, düz bir dizi gibi kesilip uzatılmamalıdır. Pencereli gövdelerde ayrıca girdi kenarının pencere boyutuna bölünebilirliği ayrı bir kısıttır.