Attention
Dikkat mekanizması
Bir dizideki her ögenin, çıktı üretilirken diğer ögelere ne kadar ağırlık vereceğini öğrenilebilir biçimde belirleyen mekanizmadır.
ÖnkoşulNeural Networks
Kısa cevap
Dikkat, "bu ögeyi anlamak için dizinin hangi kısımlarına bakmalıyım" sorusunun öğrenilmiş cevabıdır. Sabit bir pencere veya sıra varsayımı yerine, ilişkiyi veriden öğrenir.
Sorgu, anahtar, değer#
Her öge üç temsile dönüştürülür. Sorgu (query) "ne arıyorum", anahtar (key) "ben neyim", değer (value) "taşıdığım bilgi" rolündedir. Bir ögenin sorgusu, diğer ögelerin anahtarlarıyla karşılaştırılır; çıkan benzerlikler normalize edilerek ağırlığa dönüşür ve değerlerin ağırlıklı toplamı alınır.
dikkat(Q, K, V) = softmax( (Q · Kᵀ) / √d ) · V
Q: sorgu matrisi K: anahtar matrisi V: değer matrisi
d: anahtar boyutu (ölçeklemede kullanılır)
√d ile bölme, iç çarpımların büyümesiyle softmax'ın
doyuma gitmesini ve gradyanın kaybolmasını engeller.Çok başlı dikkat#
Tek bir dikkat hesabı, ilişkinin tek bir yönünü yakalar. Çok başlı dikkat aynı işlemi paralel ve farklı öğrenilmiş izdüşümlerle tekrarlar: bir baş sözdizimsel bağımlılığa, diğeri eş gönderime, üçüncüsü konum ilişkisine duyarlı hale gelebilir. Sonuçlar birleştirilip bir sonraki katmana verilir.
Maliyet ve kısayollar#
Tam dikkat, dizi uzunluğuyla karesel büyür: iki katı uzun bir girdi dört katı hesap demektir. Uzun bağlamı ekonomik kılmak için seyrek dikkat kalıpları, kayan pencere, anahtar-değer önbelleği ve gruplandırılmış sorgu dikkati gibi yaklaşımlar kullanılır. Her biri hesabı azaltır ama bir modelleme bedeli getirir.
Sık sorulan sorular
Kendine dikkat (self-attention) ile çapraz dikkat farkı nedir?
Kendine dikkatte sorgu, anahtar ve değer aynı diziden gelir; öge kendi dizisinin diğer ögelerine bakar. Çapraz dikkatte sorgu bir diziden, anahtar ve değer başka bir diziden gelir; örneğin metin üretilirken görsel temsile bakılması.
Konum bilgisi nereden geliyor?
Dikkat, sırayı kendiliğinden bilmez. Konum bilgisi ayrıca kodlanır: sinüzoidal konum kodlaması, öğrenilmiş konum gömmeleri veya döndürmeli konum kodlaması gibi yöntemlerle.
Güncelleme geçmişi
- v1.0İlk yayın.
LEARN
Attention konusunu uygulamaya dökmek ister misin?
Kavramı okudun; sırada onu bir rotanın içinde öğrenmek ve bir testle ölçmek var.