Görü projelerinde tavanı model değil etiket tutarlılığı belirler

Tez#

Görü projelerinde performans yetersiz kaldığında akla gelen ilk üç müdahale şunlar: daha büyük model, daha çok veri, daha uzun eğitim. Üçü de bazen işe yarıyor. Ama üçü de işe yaramadığında — ki sık olur — nedeni genellikle aynı yerde: etiketlerin kendisi.

Mantık basit. Model, girdiden etikete bir eşleme öğrenmeye çalışıyor. Aynı ya da neredeyse aynı iki görüntü farklı etiketlenmişse, bu eşleme tanımsız hâle gelir: doğru cevap veri kümesinde yok. Model bu durumda ikisinin ortalamasına yakınsar ve o ortalamada iki etiketin hiçbirine tam uymaz. Bu, modelin kusuru değil; veri kümesinin kendi içinde çelişmesinin doğrudan sonucu. Çelişki oranı ne kadar yüksekse tavan o kadar düşük ve bu tavanı hiçbir mimari kaldıramaz.

Bağlam: tutarsızlığın kaynakları#

Etiket tutarsızlığı dikkatsizlikten değil, tanım belirsizliğinden doğuyor. Aşağıdaki tablo dört kaynağı ve her birinin çözümünü gösteriyor.

Dördüncü satırın pratik dersi şu: etiketleme kılavuzu bir kez yazılıp bırakılan bir belge değil, sürümlenen bir varlık. Her sürüm değişikliği, önceki etiketlerin hangi kurala göre üretildiğini belirsiz kılıyor. Kılavuz sürümünü etiket kümesine üstveri olarak yazmak bu belirsizliği ortadan kaldırıyor ve maliyeti bir alan.

Kanıt: uyumu ölçmek#

Etiket tutarlılığı ölçülebilir ve ölçümü pahalı değil: aynı örnek kümesini iki etiketçiye bağımsız olarak vermek yeterli. Bu ölçüm yapılmadığında modelin tavanı bilinmiyor, dolayısıyla "yeterince iyi değil" yargısı dayanaksız kalıyor.

• Aynı örnekleri iki etiketçiye bağımsız verin: en az yüz örnek, birbirini görmeden. Uyum oranı modelin tavanını gösterir.
• Anlaşmazlıkları sınıflandırın: sınır mı, sınıf mı, görünürlük mü? Her sınıf farklı kılavuz maddesi gerektirir.
• Kılavuzu anlaşmazlığa göre güncelleyin: anlaşmazlık, kılavuzda belirsiz kalmış bir maddenin kanıtıdır.
• Güncelleme sonrası yeniden ölçün: uyum yükselmiyorsa değişiklik belirsizliği gidermemiş demektir.
• Etiket kümesini kılavuz sürümüyle işaretleyin: hangi etiket hangi kurala göre üretildi bilinmeli.

Üçüncü madde en değerlisi. Etiketçiler arası anlaşmazlık bir sorun değil bir teşhis aracı: kılavuzun hangi maddesinin belirsiz olduğunu tam olarak gösteriyor. Anlaşmazlıkları toplayıp kılavuza dönüştürmek, etiket kalitesini artırmanın en doğrudan yolu ve tek sefer değil döngü hâlinde yürütülmesi gerekiyor.

Mekanizma: tavan neden aşılamıyor#

Bu tavanın niçin mimariyle aşılamadığını görmek için değerlendirme tarafına bakmak gerekiyor. Model test kümesinde ölçülüyor ve test kümesi de aynı etiketçiler tarafından etiketlenmiş. Etiketler tutarsızsa test kümesindeki "doğru cevap" da tutarsız.

Sonuç iki yönlü. Bir yandan model, ulaşabileceği doğruluğun üzerinde bir skor alamıyor çünkü test etiketlerinin bir bölümü kendi içinde çelişiyor. Öte yandan — ve bu daha kafa karıştırıcı — model bazen olduğundan iyi görünüyor: tutarsız etiketlenmiş bir örnekte modelin tahmini, o örneğin etiketiyle rastgele uyuşabiliyor. Yani etiket gürültüsü ölçümü hem tavanlıyor hem gürültülendiriyor. Bu durumda iki model arasındaki küçük skor farkları yorumlanamaz hâle geliyor; fark model kalitesinden değil etiket gürültüsünden geliyor olabilir.

Karşı görüş#

İki itiraz güçlü. Birincisi: gürültüye dayanıklı eğitim yöntemleri var ve etiket hatalarının etkisini azaltabiliyor. İkincisi: pratikte çok veri az etiket kalitesini yeniyor — büyük ölçekli zayıf etiketli veri kümeleriyle eğitilen modeller, küçük ve titiz etiketli kümelerle eğitilenleri geçebiliyor.

Veri kümesini üç katına çıkardık, skor değişmedi. Sonra ilk kümedeki etiketçiler arası uyumu ölçtük: modelin skoru tam olarak o uyum oranındaydı.

İkinci itiraz önemli bir ayrım gerektiriyor: rastgele gürültü ile sistematik anlaşmazlık farklı şeyler. Rastgele etiket hataları ölçek büyüdükçe birbirini götürür ve model doğru sinyali bulur; büyük zayıf etiketli kümelerin işe yaraması bu mekanizmaya dayanıyor. Ama etiketçiler arası anlaşmazlık rastgele değil sistematiktir — belirsiz bir kılavuz maddesi, tüm etiketçileri aynı belirsizlikle karşı karşıya bırakır ve hatalar aynı yönde birikir. Ölçek büyütmek bu tür gürültüyü götürmez, çoğaltır. Birinci itiraz için de benzer nüans: gürültü dayanıklılığı yöntemleri rastgele hatada etkili, sistematik belirsizlikte sınırlı.

Sınırlar ve belirsizlik#

Tez bir tavan iddiası içeriyor ve tavanın tam değeri ölçülmeden bilinemez.

• Uyum ile tavan arasındaki ilişki basit bir eşitlik değil: görev türüne ve ölçüte göre değişiyor; kaba bir üst sınır olarak okunmalı.
• Gürültü dayanıklılığının sınırı ölçülmemiş: sistematik anlaşmazlığın ne kadarını telafi ettiğine dair karşılaştırmalı veri sınırlı.
• Uyum ölçütü seçimi sonucu etkiliyor: basit örtüşme oranı ile şansa göre düzeltilmiş ölçütler farklı sonuç verir.
• Bölütleme görevlerinde uyum ölçmek daha zor: piksel düzeyinde anlaşmazlığı özetlemek tek bir sayıya indirgenemiyor.

Sonuç#

Görü projelerinde performans tartışması yanlış katmanda yapılıyor. Model mimarisi, eğitim süresi ve veri hacmi üzerine harcanan emek, etiket tutarlılığı ölçülmeden yatırım kararına dönüşemez — çünkü tavanın nerede olduğu bilinmiyor.

Doğru sıralama şu: önce etiketçiler arası uyumu ölç, sonra anlaşmazlıkları sınıflandır, sonra kılavuzu güncelle ve yeniden ölç. Uyum yükseldiğinde tavan da yükseliyor ve model iyileştirmeleri ancak o zaman anlam taşıyor. Bu sıralamayı atlayan ekipler, tavana çarpmış bir sistemi mimari değiştirerek iyileştirmeye çalışıyor ve neden iyileşmediğini anlayamıyor.

Ne yapmalı?#

1. 1Uyumu bugün ölçün

   Yüz örnek, iki bağımsız etiketçi. Yarım günlük iş ve modelin tavanını doğrudan gösteriyor.

2. 2Anlaşmazlıkları teşhis olarak kullanın

   Her anlaşmazlık, kılavuzda belirsiz kalmış bir maddenin kanıtıdır. Sınır, sınıf ve görünürlük olarak sınıflandırın.

3. 3Kılavuzu sürümleyin

   Kılavuz değişiyorsa etiketler hangi sürümle üretildi bilinmeli. Aksi hâlde veri kümesi iki kurala göre bölünür.

4. 4Test kümesini ayrıca denetleyin

   Etiket gürültüsü ölçümü hem tavanlıyor hem gürültülendiriyor; test kümesi eğitim kümesinden daha titiz etiketlenmeli.

5. 5Küçük skor farklarını yorumlamayın

   İki model arasındaki fark etiket gürültüsü mertebesindeyse, fark model kalitesinden gelmiyor olabilir.

6. 6Saha koşullarını ayrı bir test kümesine ayırın

   Etiket tutarlılığı çözülse bile laboratuvar koşullarında toplanan veri genellemeyi ölçmez.