Transfer öğrenmeyle sınıflandırıcı eğitmek

Bu adım atlandığında sonraki her tartışma zemin kaybeder: hangi metriğin iyileştiğini kimse net söyleyemez. Tek etiketli çok sınıflı bir görevde sınıflar birbirini dışlar; çok etiketli bir görevde bir örnek aynı anda birden çok etiket taşıyabilir. İkisi farklı çıkış katmanı ve farklı kayıp fonksiyonu gerektirir ve karıştırıldığında model hata vermeden yanlış şeyi öğrenir.

Hata maliyeti, eşiği belirler. Kaçırılan bir kusurun sahaya çıktıktan sonraki maliyeti, yanlış alarmın operatöre yüklediği maliyetten yüksekse eşik duyarlılık lehine kaydırılır. Bu karar model eğitiminin içinde değil, eğitimden sonra doğrulama bölmesinde verilir — ama şimdi yazılmazsa değerlendirme aşamasında keyfîleşir.

Transfer öğrenmenin işe yaramasının nedeni, alt katmanların genel yapıları öğrenmiş olması: kenar, doku, temel biçim. Bu genel yapılar alanlar arasında taşınır, ama taşınma mesafesi arttıkça kazanç azalır. Gündelik fotoğraflarla eğitilmiş bir gövde ile röntgen görüntüsü arasındaki mesafe, aynı gövde ile ürün fotoğrafı arasındaki mesafeden belirgin biçimde büyüktür ve bu, çözülecek blok sayısını doğrudan etkiler.

• Alan yakınlığı: gövdenin eğitildiği veri sizinkine ne kadar benziyor?
• Girdi çözünürlüğü: ayırt edici detay, gövdenin beklediği boyuta indirildiğinde kayboluyor mu?
• Çıkarım bütçesi: model nerede koşacak — sunucuda mı, uç cihazda mı?
• Lisans: ağırlıkların lisansı ve üzerine eğitilen modelin durumu kurumsal kullanıma uygun mu?
• Bakım: gövdenin sürüm geçmişi ve indirilebilirliği ne kadar güvenilir?

Önceden eğitilmiş bir gövde, belirli bir girdi dağılımı görmeye alışkındır. Ölçekleme aralığı, kanal başına normalizasyon değerleri ve boyutlandırma yöntemi bu dağılımı belirler. Farklı bir ön işleme verdiğinizde model çalışır, kayıp düşer, eğitim tamamlanır — sadece olabileceğinden düşük bir doğrulukla. Sessiz olduğu için de aylarca fark edilmeyebilir.

• Ön işleme tanımını gövdeyle aynı kaynaktan alın; elle yeniden yazmayın.
• Boyutlandırma yöntemini eşleyin: kırpma ile sıkıştırma farklı geometri üretir.
• Kanal sırasını ve veri tipini doğrulayın; sessiz hataların önemli bölümü buradan çıkar.
• Aynı ön işlemeyi çıkarım kodunda da kullanın: eğitimde ve üretimde tek tanım olmalı.

Doğrulama adımı: hattan çıkan bir grup girdiyi geri çevirip gözle bakın. Görüntü ters mi, renkler kaymış mı, kırpma ayırt edici bölgeyi kesiyor mu? Bu birkaç dakikalık kontrol, çoğu ön işleme hatasını eğitim başlamadan yakalıyor. Aynı kontrolü artırma açıkken bir kez daha yapın.

Sıranın nedeni gradyanların büyüklüğü. Yeni başlık rastgele değerlerle başlar ve ilk adımlarda büyük gradyan üretir. Gövde bu sırada açıksa o gradyan geriye akar ve önceden öğrenilmiş özellikleri bozar; elinizde hem eğitilmemiş bir başlık hem hasar görmüş bir gövde kalır. Önce başlığı oturtmak, gövdeyi çözdüğünüzde gelen gradyanların çok daha küçük olmasını sağlar.

# Çatıdan bağımsız sözde kod; adların karşılığı kendi kütüphanenizde farklıdır.
govde = onceden_egitilmis_govde(basliksiz=True)
for katman in govde.katmanlar:
    katman.egitilebilir = False           # 1. koşu: gövde tamamen dondurulur

model = sirali(
    govde,
    kuresel_ortalama_havuzlama(),
    birakma(0.2),                         # örnek değer; doğrulamayla ayarlanır
    tam_bagli(sinif_sayisi, aktivasyon="softmax"),
)

model.derle(iyilestirici=adam(), kayip="kategorik_capraz_entropi")  # taban koşuda varsayılan oran yeterli
model.egit(egitim, dogrulama=dogrulama)   # taban doğruluk koşusu

Bu koşunun çıktısı bir ürün değil bir ölçüt: sonraki her değişiklik buna göre değerlendirilir. Gövde dondurulmuş olduğu için koşu hızlıdır ve birkaç farklı gövdeyi aynı koşullarda karşılaştırmanın en ucuz yolu budur. Gövde seçimi hâlâ tartışmalıysa kararı burada verin — çözme aşamasına geçtikten sonra karşılaştırma pahalılaşır.

Transfer öğrenmede en çok zaman kaybettiren hiperparametre öğrenme oranı, çünkü iki koşunun ihtiyacı farklı: rastgele başlatılmış başlık büyük adımlar ister, önceden eğitilmiş gövde küçük adımlar. Tek bir değerle ikisini birden idare etmeye çalışmak, ya başlığın yavaş oturmasına ya gövdenin bozulmasına çıkar.

1. 01Kısa bir koşuda öğrenme oranını kademeli artırarak kaybın davranışını kaydedin.
2. 02Kaybın düzenli düştüğü aralığı seçin; kaybın sıçradığı bölgeden belirgin biçimde uzak durun.
3. 03Başlık koşusu aralığın üst tarafında, gövdenin çözüleceği koşu alt tarafında kalır; tek bir değer ikisini birden idare etmez.
4. 04Isınma ekleyin: ilk adımlarda oran düşükten başlayıp hedefe çıksın.
5. 05Kalan eğitimde oranı kademeli azaltın ve azaltma noktalarını kaydedin.
6. 06Katman grubuna göre farklı oran vermek mümkünse üst bloklara daha büyük oran verin.

Tarama koşusu ucuzdur ve tekrarlanabilir: gövde veya veri kümesi değiştiğinde yeniden koşturulur. Sonuçları deney izleyicisine yazın — üç ay sonra "bu oran nereden geldi" sorusunun cevabı ancak orada bulunur.

Katmanlar derinleştikçe öğrendikleri özellik göreve özelleşir. Bu yüzden çözme yönü yukarıdan aşağıdır: en üstteki bloklar sizin alanınıza uyarlanır, alttakiler genel kaldıkları için dokunulmadan daha faydalıdır. Kaç blok çözüleceğini alan yakınlığı ve veri miktarı belirler — alan uzaksa ve veri bolsa daha derine inilir.

# 2. koşu: yalnızca üst bloklar çözülür ve öğrenme oranı düşürülür.
for katman in govde.katmanlar[-cozulecek_blok_sayisi:]:
    katman.egitilebilir = True

# Toplu normalleştirme katmanları çıkarım kipine alınır (kuralı çatıya göre değişir):
for katman in govde.katmanlar:
    if katman.tur == "toplu_normallestirme":
        katman.egitilebilir = False

# Öğrenme oranı, tarama koşusunda bulunan aralığın alt tarafından seçilir.
model.derle(iyilestirici=adam(ogrenme_orani=kucuk_oran), kayip="kategorik_capraz_entropi")

Artırmanın işlevi veriyi çoğaltmak değil, modele hangi değişimlerin etiketi değiştirmediğini öğretmek. Bu yüzden doğru artırma alandan çıkar: üretim bandındaki bir kamera sabitse döndürme artırması gerçek değişkenliği taklit etmez, yalnızca görevi zorlaştırır. Tersine, elde tutulan bir cihazla çekiliyorsa döndürme ve aydınlatma değişimi tam da modelin görmesi gereken şeydir.

• Artırmayı üretimde gerçekten olan değişimlerden seçin: aydınlatma, açı, arka plan, gürültü.
• Etiketi değiştiren dönüşümü kullanmayın; yön anlamlıysa aynalama etiketi bozar.
• Artırmayı yalnızca eğitim bölmesine uygulayın; doğrulama ve test gerçek dağılımı korur.
• Bırakma ve ağırlık cezası gibi düzenlileştiricileri veri azaldıkça güçlendirin.
• Sınıflar dengesizse artırmayı seyrek sınıfta yoğunlaştırın, ama dengelemeyi doğrulamaya taşımayın.

Eğitim eğrisi tek başına yeterli bir teşhis aracı değil ama ilk bakılacak yer. Kayıp eğrisiyle karar metriğinin eğrisi her zaman aynı anda dönmez: kayıp kötüleşirken doğruluk bir süre daha artabilir. Bu yüzden erken durdurma ölçütü, üretimde karar verirken kullanacağınız metrik olmalıdır.

Karışıklık matrisi, eğrinin söyleyemediğini söyler: hangi sınıf hangisiyle karışıyor. Karışan çiftler genellikle etiketleme belirsizliğini işaret eder ve çözümü model tarafında değil etiket kılavuzundadır. Bu tür bir bulguyu modelle kapatmaya çalışmak, her yeni koşuda tekrar eden bir maliyettir.

Test bölmesi hiperparametre seçimi için kullanılmaz; kullanılırsa bir doğrulama bölmesine dönüşür ve genelleme tahmini olmaktan çıkar. Tüm seçimler doğrulama bölmesinde yapılır, test bölmesi yalnızca sürüm kararında açılır ve sonuç sürüm notuna yazılır.

• Gövdenin kimliği ve ağırlık sürümü
• Ön işleme tanımı: boyutlandırma, normalizasyon, kanal düzeni
• Dondurma ve çözme planı: hangi koşuda kaç blok açıldı
• Öğrenme oranı çizelgesi ve erken durdurma ölçütü
• Bölme kuralı ve bölme başına sınıf dağılımı
• Sınıf başına kesinlik, duyarlılık ve karışıklık matrisi