Transformer

Temel fikir#

Önceki dizi modelleri girdiyi sırayla işliyordu; bu hem uzun bağımlılıkları zayıflatıyor hem paralelleşmeyi engelliyordu. Transformer, her ögenin diğer tüm ögelerle ilişkisini aynı anda hesaplayan dikkat mekanizmasını kullanır. Böylece uzak bağımlılıklar korunur ve eğitim paralelleşir.

Dikkat neyi hesaplar?#

Her öge için üç temsil üretilir: sorgu, anahtar ve değer. Bir ögenin sorgusu diğer ögelerin anahtarlarıyla karşılaştırılır; çıkan benzerlik ağırlıkları, o ögelerin değerlerini ne kadar dikkate alacağını belirler.

Dikkat, "bu kelimeyi anlamak için cümlenin hangi kısımlarına bakmalıyım?" sorusunun öğrenilebilir bir cevabıdır.

Bir katmanın içinde ne var?#

1. 1Katman normalizasyonu

   Girdi, kararlı eğitim için normalize edilir.

2. 2Çok başlı dikkat

   Ögeler arası ilişkiler paralel başlarla hesaplanır.

3. 3Artık bağlantı

   Girdi, çıktıya eklenerek gradyan yolu kısaltılır.

4. 4İleri beslemeli ağ

   Her öge bağımsız olarak genişletilip daraltılır.

5. 5Artık bağlantı

   Aynı toplama işlemi tekrarlanır ve katman kapanır.

Modern modeller bu katmanı onlarca kez üst üste koyar. Parametre sayısının büyük kısmı dikkat bloklarında değil, ileri beslemeli katmanlarda bulunur; Mixture of Experts mimarileri tam bu noktaya müdahale eder.

Kodlayıcı, kod çözücü ve yalnız kod çözücü#

Konum bilgisi#

Dikkat mekanizması sırayı kendiliğinden bilmez: ögeleri bir küme gibi görür. Konum bilgisi ayrıca kodlanır. Sinüzoidal kodlama, öğrenilmiş konum gömmeleri ve döndürmeli konum kodlaması yaygın yaklaşımlardır; son grubun, eğitimde görülenden uzun dizilere daha iyi genellediği bildirilmektedir.