Etiket rehberi, anlaşma ölçümü ve aktif öğrenme

Teori: rehber bir sözleşmedir#

Etiket rehberi bir tanım listesi değil, kenar durumlarda ne yapılacağını söyleyen bir karar belgesidir. "Araç" sınıfının sözlük tanımı kolaydır; kararı zorlaştıran sorular başkadır: yarısı kadraj dışında kalan araç etiketlenir mi, camın arkasından görünen sürücü "insan" sayılır mı, kutu aynaları içine alır mı, bulanıklık hangi noktadan sonra "etiketlenmez" demeyi gerektirir. Rehberin gövdesi bu soruların cevaplarından ve her cevabın yanındaki örnek görüntüden oluşur.

Belgeyi kritik yapan ikinci sebep, gürültünün asimetrik zararıdır. Eğitim setindeki gürültü modeli bozar ama yeterli veriyle bir ölçüde emilir. Değerlendirme setindeki gürültü ise tavan koyar: ölçtüğünüz sayı, modelin yeteneğiyle etiketçilerin tutarsızlığının toplamıdır ve bu ikisini sonradan ayıramazsınız. Bu yüzden ilk tutarlılık yatırımı altın sete yapılır, eğitim setine değil.

Anlaşma nasıl ölçülür#

Anlaşma, aynı görüntülerin iki kişiye bağımsız etiketletilmesiyle ölçülür. Sınıflandırmada karşılaştırma doğrudandır; tespit ve bölütlemede önce kutuların eşleşmesi gerekir, bu da bir örtüşme eşiği seçmek demektir — eşiği yükseltmek anlaşmazlığı artırır, çünkü sınır sıkılığı da karşılaştırmaya dahil olur. Ham anlaşma yüzdesi tek başına yanıltıcıdır: seyrek bir kusur sınıfında iki kişi hiçbir şey işaretlemese bile yüzde neredeyse tam çıkar. Şansla açıklanabilen anlaşmayı düşen ölçütlerin (kappa ailesi) varlık sebebi budur; yine de sayının kendisinden çok, anlaşmazlıkların nereye toplandığı bilgisi işe yarar.

Aktif öğrenme döngüsü#

1. 1Havuzu ayırın

   Etiketsiz görüntüleri tek bir havuzda tutun ve havuzun üretim dağılımını temsil ettiğinden emin olun. Havuz yanlıysa seçim ölçütü ne olursa olsun yanlı bir eğitim seti üretir.

2. 2Seçim ölçütünü birleştirin

   Yalnızca belirsizliğe bakmak, birbirinin kopyası kenar durumlara saplanmakla sonuçlanır. Belirsizliği bir çeşitlilik ölçütüyle — gömme uzayında birbirine uzak örnekler seçmekle — birlikte kullanın.

3. 3Hata madenciliği yapın

   Üretimde operatörün düzelttiği kararlar havuzdaki en değerli örneklerdir, çünkü etiketleri zaten bir insan vermiştir. Bunları ayrı bir akış olarak toplayın.

4. 4Turu kapatın

   Yeni etiketlerle yeniden eğitin ve değişmeyen bir değerlendirme setinde ölçün. Ölçüm seti turdan tura değişirse kazancın olup olmadığını göremezsiniz.

Aktif öğrenmenin kazancı etiket bütçesinin verimliliğidir, modelin tavanı değil: aynı sayıda etiketle daha fazlası öğrenilir, ama yanlış tanımlanmış bir sınıf kümesi veya tutarsız bir rehber bu döngüyle düzelmez. Döngü ayrıca kendi yanlılığını üretir — seçilen örnekler modelin zorlandığı bölgeden gelir, dolayısıyla biriken eğitim seti üretim dağılımına giderek daha az benzer. Bu, eğitim için sorun değil; ölçüm için sorundur.

Sık yapılan hata#

Sahada en sık görülen hata, anlaşmazlığı etiketçi dikkatsizliği sayıp rehbere kural yığmaktır. Kural sayısı arttıkça rehber okunmaz hale gelir ve tutarlılık daha da düşer; işleyen yaklaşım her kuralın yanına doğru ve yanlış birer örnek görüntü koymak ve eskiyen maddeleri çıkararak hacmi sabit tutmaktır. İkinci sık hata rehberi sürümsüz tutmaktır: hangi görüntünün hangi kural sürümüyle etiketlendiği kayıtlı değilse, ölçümdeki bir kırılmanın modelden mi tanım değişikliğinden mi geldiği anlaşılamaz.

• Metrik iyi ama operatör memnun değil: değerlendirme setiniz üretim dağılımını temsil etmiyor.
• Model iki sınıfı sürekli karıştırıyor: önce o iki sınıfın insanlar arası anlaşma oranına bakın; ayrım etikette yoksa modelde de olmaz.
• Yeni etiketler metriği hiç oynatmıyor: seçim ölçütü birbirinin kopyası örnekler getiriyor ya da kazanç değerlendirme setinde temsil edilmiyor.
• Eski ve yeni etiketler çelişiyor: rehber sürümü değişmiş, geriye dönük yeniden etiketleme yapılmamış.
• Seyrek sınıfta hiç ilerleme yok: havuzda o sınıf neredeyse hiç yok; bu bir seçim değil veri toplama sorunudur.