Görüntü verisinin doğası

Teori: piksel bir ölçüm değil, bir kodlamadır#

Bir piksel değeri sahnedeki ışık miktarının doğrudan karşılığı değildir. Yaygın dosya biçimleri değerleri gamma kodlu bir uzayda saklar: insan gözünün karanlık tonlara duyarlılığı daha yüksek olduğu için bitler oraya kaydırılmıştır. Bunun pratik sonucu şudur: iki pikselin aritmetik ortalaması fiziksel bir ışık ortalaması değil, algısal bir ara değerdir. Ölçme amaçlı işlerde (parlaklık farkı, pozlama düzeltme) doğrusal uzaya geçmek gerekir; sınıflandırma ve tespitte ise ağın kendisi bu kodlamayı öğrendiği için genellikle olduğu gibi bırakılır.

Normalizasyon da aynı mantığın uzantısıdır. Ağın ilk katmanındaki ağırlıklar belirli bir girdi dağılımına göre kalibre olmuştur; 0–255 arası tam sayı yerine kanal bazlı ortalaması çıkarılmış ve standart sapmasına bölünmüş bir girdi beklerler. Yanlış istatistikle beslenen bir ağ çökmez, sessizce kötüleşir. Bu yüzden normalizasyon bir estetik tercih değil, ağırlıklarla birlikte taşınan bir sözleşme maddesidir.

Renk uzayları#

Çözünürlük ve yeniden ölçekleme#

Yeniden ölçekleme bilgi atma işidir; sorun atmak değil, neyi attığınızı bilmemektir. Küçültürken ince desenler örnekleme frekansının altına düştüğünde örtüşme (aliasing) oluşur: tuğla dokusu dalgalanmaya, ince metin okunmaz bir tarama desenine döner. En-boy oranını korumadan germek biçim bilgisini bozar; kenar dolgusu (letterbox) oranı korur ama etkin çözünürlüğü düşürür; kırpma çözünürlüğü korur ama kenardaki nesneyi kesebilir. Ölçekleme ile kırpmanın sırası bile çıktıyı değiştirir, bu yüzden sıra da yazılı olmalıdır.

• Küçültürken alan ortalaması veya kenar yumuşatmalı bir süzgeç kullanın; saf en yakın komşu ile küçültmek örtüşme üretir.
• Büyütürken bilineer makul bir varsayılandır; bikübik kenarı keskinleştirir ama yüksek karşıtlıklı kenarların iki yanında halka izi (ringing) bırakabilir.
• Etiket maskesi, sınıf kimliği haritası veya indeksli görüntüde her zaman en yakın komşu kullanın: ara değer var olmayan bir sınıf uydurur.
• En-boy oranı politikasını hedefin konumuna göre seçin; nesne çoğunlukla kenardaysa kırpma, ortadaysa dolgu daha az zarar verir.
• Aynı görüntüyü hattın iki farklı yerinde iki kez ölçeklemeyin; her ölçekleme bir yumuşatma katmanı ekler.

Karar: önişleme sözleşmesi#

1. 1Kod çözme ve yönlendirme

   Dosyayı hep aynı kütüphaneyle açın ve EXIF yön bilgisini ya açıkça uygulayın ya da açıkça yok sayın; ikisinin arasında kalmak, aynı görüntünün iki farklı yönde işlenmesi demektir.

2. 2Renk sözleşmesi

   Renk uzayını ve kanal sırasını hattın tek bir noktasında sabitleyin. Dönüşüm en başta yapılır; sonraki hiçbir adım kanal sırasını varsaymaz.

3. 3Geometri

   Hedef boyutu, en-boy oranı politikasını (kırp, doldur, ger), interpolasyonu ve ölçekleme-kırpma sırasını yazın.

4. 4Sayısal aralık

   Tam sayıdan kayan noktaya geçiş noktasını, bölme sabitini ve kanal bazlı ortalama-standart sapmayı kaydedin. Önceden eğitilmiş omurga kullanıyorsanız bu değerler omurganın eğitildiği değerlerle aynı olmalıdır.

5. 5Tensör düzeni

   Kanalın önde mi sonda mı olduğunu ve toplu iş boyutunun nereye eklendiğini belirtin; dışa aktarılan modelde bu düzen girdi imzasının parçasıdır.

from PIL import Image, ImageOps
import numpy as np


def kunye(yol):
    """Onisleme sozlesmesini denetlemek icin bir goruntunun kimlik bilgisi."""
    with Image.open(yol) as ham:
        exif_yonu = ham.getexif().get(274)   # 274 = Orientation etiketi
        im = ImageOps.exif_transpose(ham)    # yonu ACIKCA uygula
        dizi = np.asarray(im)
        return {
            "mod": im.mode,                  # RGB, L, CMYK, P ...
            "sekil": dizi.shape,             # (yukseklik, genislik, kanal)
            "tip": str(dizi.dtype),          # uint8 mi float32 mi
            "aralik": (int(dizi.min()), int(dizi.max())),
            "exif_yonu": exif_yonu,
        }

Sık yapılan hata#

Birinci sık hata, aynı dönüşümü hattın iki ayrı yerinde uygulamaktır: 0–255 aralığını hem kütüphanenin yükleyicisinde hem kendi kodunuzda bölmek ya da normalizasyonu iki kez geçirmek, girdiyi beklenen aralığın çok altına indirir ve hiçbir yerde hata vermez. İkinci hata, tam sayı aritmetiğini unutmaktır: uint8 bir dizide 255 üzerine 1 eklemek 0 verir, parlaklık artırma denemesi karanlık lekeler üretir. Üçüncüsü, artırma hattında her adımda kayıplı biçime geri kaydetmektir; bozulma birikir ve eğitim setinin istatistiği sessizce kayar. Ara adımları kayıpsız tutup yalnızca son yazımda kayıplıya inmek bu birikimi kesen en ucuz önlemdir.