Görüntü-metin eşlemesi ve sıfır örnekli sınıflandırma

Teori: ortak gömme uzayı#

Eğitimde modele görüntü ile açıklama çiftleri verilir. Görüntü kodlayıcı ve metin kodlayıcı ayrı ağlardır, ama kayıp fonksiyonu ikisini birbirine bağlar: eşleşen çiftin gömmeleri birbirine yaklaştırılır, aynı yığındaki eşleşmeyen çiftler uzaklaştırılır. Model böylece bir kelimenin vektörünü, o kelimeyle birlikte anılan görüntülerin vektörlerine komşu yapmayı öğrenir. Hiçbir sınıf listesi öğretilmemiştir; öğrenilen şey iki kipin ortak bir uzaya hizalanmasıdır.

Sıfır örnekli sınıflandırma bu hizalamanın doğal sonucudur. Sınıf adlarını metin kodlayıcıdan geçirip sabit vektörler elde edersiniz; her görüntüyü görüntü kodlayıcıdan geçirip bu vektörlere olan benzerliğini ölçersiniz. En yakın metin, tahmin edilen sınıftır. Ağırlıklara dokunulmamıştır: sınıflandırıcının son katmanı, sizin yazdığınız metinlerden oluşur.

Bu, mühendislik açısından alışılmadık bir esneklik verir: yeni bir sınıf eklemek yeniden eğitim değil, bir satır metin yazmaktır. Aynı esneklik kırılganlığın da kaynağıdır — sınıf kümesini değiştirdiğinizde karar sınırları da sessizce değişir, çünkü karar her zaman kümedeki adaylara göre verilir.

Metin tarafı sizin sınıflandırıcınızdır#

Model sınıfı yalnızca verdiğiniz kelimeler kadar tanır. "Vida" yazarsanız model, eğitim açıklamalarında bu kelimenin yanında gördüğü her şeyi çağırır; "paslanmış çelik vida, yakın plan" yazarsanız aradığınız bölgeyi daraltmış olursunuz. Karışan sınıf çiftlerinde ilk çözüm modeli değiştirmek değil, iki tanımı birbirinden ayıran niteliği metne yazmaktır.

Nerede kırılır#

• İnce ayrımlar: aynı üst kategorideki iki alt tür metinle ayrılamayacak kadar yakınsa benzerlikler birbirine girer.
• Sayma ve konum: "üç delik" veya "sağ üst köşede çatlak" gibi ifadeler, karşıtsal eğitimin doğal olarak kazandığı yetenekler değildir.
• Görüntüdeki yazı: etiket ve seri numarası okumak ayrı bir metin tanıma adımının işidir.
• Alan kayması: eğitim açıklamalarının dünyasından uzak görüntüler (termal kamera, mikroskop, endüstriyel hat aydınlatması) hizalamanın zayıf olduğu bölgelerdir.
• Soyut nitelik: "kabul edilebilir yüzey kalitesi" bir tanımın değil, bir ölçütün ve eşiğin konusudur.

Karar: sıfır örnekli mi, prob mu, ince ayar mı#

1. 1Etiket sayınızı sayın

   Elinizde sınıf başına düzenli biriktirilmiş etiket yoksa sıfır örnekli kurulum size etiketsiz bir başlangıç çizgisi verir. Bu çizgiyi küçük ve elle etiketlenmiş bir doğrulama setinde ölçmeden ileri gitmeyin; sonraki her adım onunla karşılaştırılacak.

2. 2Gömmeleri dondurup üstüne küçük bir sınıflandırıcı takın

   Etiket birikmeye başladığında doğrusal probu (dondurulmuş gömmeler artı basit bir sınıflandırıcı) deneyin; kodlayıcı değişmediği için gömmeler bir kez hesaplanır ve eğitim ucuzdur. Sıfır örneklinin üstüne çıkıp çıkmadığı varsayılmaz, aynı sette ölçülerek karara bağlanır.

3. 3Kodlayıcıyı açmayı sona bırakın

   Tam ince ayar, alanınız eğitim dağılımından gerçekten uzaksa ve doğrusal probun kazancı eklenen etiketlerle doymuşsa anlam kazanır. Aşırı uyum riski ve ölçüm disiplini maliyeti buradan itibaren başlar.

4. 4Her adımda aynı seti ölçün

   Üç yaklaşımı aynı değerlendirme setinde ve aynı metrikle karşılaştırın. Farklı setlerde alınmış sonuçlar karşılaştırılabilir değildir; ilerleme sanılan şey çoğu zaman set değişikliğidir.

Sık yapılan hata#

En sık görülen yanılgı, benzerlik puanını bir güven ölçüsü gibi okumaktır. Benzerlik yakınlığı ölçer, doğruluğu değil. Üstelik sınıf vektörleri üzerinde normalize edildiğinde çıkan sayılar olasılığa benzer ama yalnızca sizin verdiğiniz sınıf kümesine göredir: kümede doğru sınıf hiç yoksa model yine yüksek bir değerle bir şey seçer. Açık kümeli işlerde en yakın iki sınıf arasındaki benzerlik farkına eşik koyup kararsız görüntüleri ayrı bir kovaya almak, tek bir sayıya güvenmekten sağlamdır.