Anlamsal, örnek ve panoptik segmentasyon

Teori: etiketin tutunduğu birim#

Bu ayrım akademik değil, doğrudan üretilebilir çıktıyı belirler. Bir üretim hattında ürünlerin kapladığı alanı raporlayacaksanız anlamsal maske yeter. Üründen kaç tane geçtiğini sayacaksanız bitişik iki ürünü ayırmak zorundasınız ve anlamsal maske bunu yapamaz; bağlı bileşen analiziyle kurtarmayı deneyebilirsiniz ama nesneler değdiği anda çöker. Sahnenin tamamını boşluksuz anlatmak gerekiyorsa (her piksel bir şeye ait olmalı) panoptik kurulum gerekir.

Çözünürlük nerede kayboluyor?#

Segmentasyon yoğun bir tahmin görevidir: çıktı girdiyle aynı ızgarada olmalıdır. Oysa omurga alıcı alanı büyütmek için adım kullanır ve haritayı küçültür. Bu yüzden hat iki parçalıdır: kodlayıcı bağlamı toplar, kod çözücü çözünürlüğü geri kurar. Kod çözücünün tek başına yapabileceği sınırlıdır; kaybolan yüksek frekanslı kenar bilgisini geri getiren şey, kodlayıcının erken katmanlarından gelen atlama bağlantılarıdır.

• Adımı azaltıp çözünürlüğü korumak: sınır kalitesi artar, bellek ve hesap hızla büyür.
• Genişletilmiş evrişimle çözünürlüğü koruyup alıcı alanı büyütmek: ara haritalar büyük kalır, ızgara deseni artefaktına dikkat.
• Kodlayıcı-kod çözücü artı atlama bağlantısı: düşük seviyeli kenar bilgisi kod çözücüye taşınır, sınırlar toparlanır.
• Bilineer büyütme artı evrişim: devrik evrişimin bıraktığı dama deseni artefaktından kaçınmanın en basit yolu.
• Çok ölçekli birleştirme: küçük nesne ile geniş bağlam aynı ağda ele alınır; bileşen sayısı arttıkça hata ayıklama zorlaşır.

Ölçüm#

Temel ölçüm sınıf başına IoU'dur: o sınıfa ait doğru ve tahmin piksellerinin kesişiminin birleşime oranı. Bunların ortalaması mIoU'dur ve dikkatli okunmalıdır, çünkü her sınıf eşit ağırlık alır: görüntünün yarısını kaplayan zeminle birkaç yüz piksellik ince bir kablo ortalamada aynı ağırlıktadır. Panoptik kalite ise tek sayıyı iki soruya böler: doğru nesneyi bulabildiniz mi (tanıma) ve bulduğunuzun maskesi ne kadar iyi (bölütleme). Bir ölçüm düştüğünde hangi bileşenin düştüğüne bakmak, tek sayıya bakmaktan daima bilgilendiricidir.

import numpy as np


def sinif_iou(tahmin, gercek, sinif_sayisi):
    """tahmin, gercek: ayni sekilde tam sayili sinif kimligi haritalari."""
    sonuc = []
    for s in range(sinif_sayisi):
        t = tahmin == s
        g = gercek == s
        kesisim = np.logical_and(t, g).sum()
        birlesim = np.logical_or(t, g).sum()
        sonuc.append(float(kesisim) / float(birlesim) if birlesim else float("nan"))
    return sonuc


# Bir sinif her iki haritada da hic gecmiyorsa ortalamaya katilmaz:
miou = np.nanmean(sinif_iou(tahmin, gercek, sinif_sayisi=4))

Karar: hangi görev?#

1. 1Saymak zorunda mısınız?

   Cevap evetse anlamsal segmentasyon yetmez; bitişik iki nesne tek bölge olur ve sayım sistematik olarak düşük çıkar.

2. 2Her pikselin etiketi olmalı mı?

   Sahnenin tamamı raporlanacaksa panoptik; yalnızca ilgilendiğiniz nesneler yeterliyse örnek segmentasyonu daha ucuzdur.

3. 3Sınır hassasiyeti kararı etkiliyor mu?

   Alan, hacim veya kesim çizgisi hesaplayacaksanız sınır hatası doğrudan sonuca girer; çözünürlük ve kod çözücü tasarımı buna göre seçilir.

4. 4Etiket bütçesini kontrol edin

   Piksel etiketi kutu etiketinden kat kat pahalıdır. Kutu veya çizik gibi zayıf etiketle başlayıp yalnızca kritik alt kümeyi piksel düzeyinde etiketlemek çoğu zaman daha gerçekçi bir plandır.

5. 5Ölçümü göreve bağlayın

   mIoU genel bir sağlık göstergesidir; iş kararı sınıf başına IoU, sınır davranışı ve gerekiyorsa nesne sayımı hatasıyla verilir.

Sık yapılan hata#

En sık görülen hata, etiket rehberinin sınır kuralını tanımlamamasıdır: gölge maskeye dahil mi, yansıma sayılır mı, kısmen örtülmüş nesnenin görünmeyen kısmı doldurulur mu? Bu sorular yazılmazsa etiketçiler farklı kararlar verir, model tutarsız hedef görür ve sınır hatası modele yazılır. İkinci hata yalnızca mIoU'ya bakmaktır: ince yapılar (kablo, çizik, ince boru) ortalamada kaybolur, oysa çoğu zaman asıl iş onlardır. Üçüncüsü, küçük nesnelerde birkaç piksellik sınır kaymasının IoU'yu oransal olarak çok sert düşürmesini model kalitesi sanmaktır; aynı kayma büyük bölgede neredeyse görünmez.