Laboratuvar test kümesi genellemeyi ölçmez; dağıtım kaymasını ölçen tek şey saha

Tez#

Görü projelerinde karar genellikle bir sayıyla veriliyor: test kümesindeki doğruluk kabul eşiğini geçtiyse model hazır sayılıyor. Bu yaklaşım makine öğrenmesi pratiğinin merkezinde ve belirli bir varsayıma dayanıyor: test kümesi, modelin karşılaşacağı veriyi temsil ediyor.

Görüde bu varsayım neredeyse hiç sağlanmıyor. Test kümesi, eğitim kümesinin bölünmesiyle elde edildiğinde onunla aynı koşulları paylaşıyor: aynı cihazlarla çekilmiş, aynı ortamda, aynı dönemde, aynı kişiler tarafından etiketlenmiş. Saha ise başka bir dağılım: farklı kamera modelleri, farklı lens kirliliği, farklı ışık, farklı montaj açıları, farklı mevsimler, farklı kullanıcı davranışları. Model bu koşullarda test edilmediği için laboratuvar doğruluğu sahayı tahmin etmiyor — yalnızca modelin görevi hiç öğrenmediği durumu dışlıyor. Yani sayı bir alt sınır belirtisi, bir yeterlilik kanıtı değil.

Bağlam: kaymanın kaynakları#

Dağıtım kayması tek bir şeyden gelmiyor. Tablo, görü sistemlerinde en sık görülen kaynakları ve her birinin laboratuvarda neden yakalanmadığını veriyor.

Dördüncü satır uzun vadede en sinsi kayma türü. Bir model kurulduğu gün iyi çalışıyor, altı ay sonra doğruluğu düşüyor ve kimse bir değişiklik yapmamış. Neden genellikle dışarıda: hattaki bir parça değişti, aydınlatma armatürü yaşlandı, kamera camı tozlandı, üretilen ürünün rengi biraz farklılaştı. Model değişmedi ama girdisi değişti ve bu tür bir bozulma ancak sahadan sürekli örnekleme yapılıyorsa görülüyor.

Kanıt: sahayı ölçmenin yolu#

Laboratuvar doğruluğunun yerini alacak şey daha iyi bir test kümesi değil, sahadan beslenen bir ölçüm düzeni.

• Sahadan test kümesi: modelin çalışacağı ortamlardan toplanmış ve eğitimde kullanılmamış bir küme. Tek gerçek yeterlilik göstergesi.
• Koşul bazlı alt kümeler: zorlu ışık, kirli lens, uç açılar. Kararı ortalama değil en kötü alt küme belirlemeli.
• Sürekli örnekleme: sahadan düzenli aralıklarla örnek toplayıp etiketleme. Zamansal kaymayı yakalayan tek yöntem.
• Güven dağılımı izleme: modelin güven skorlarının dağılımı değişiyorsa girdi dağılımı değişmiş olabiliyor; etiket gerektirmeyen erken uyarı.
• İnsan devri oranı: belirsiz vakaların insana devredilme oranı, kaymanın en pratik göstergesi.
• Etiket kılavuzu ve anlaşma ölçümü: sınır durumlarda etiketleyiciler arası anlaşma ölçülmeden doğruluk sayısının anlamı belirsiz.
• Nadir sınıf için hedefli toplama: kritik durumlar rastgele örneklemeyle yeterli sayıya ulaşmıyor; özel olarak aranması gerekiyor.

Dördüncü madde etiketleme maliyeti olmadan uygulanabilen tek erken uyarı ve bu yüzden en yüksek getirili. Model güven skorlarının dağılımı — kaç tahmin yüksek, kaç tahmin sınırda — girdi dağılımı değiştiğinde kayıyor. Bu kayma doğruluk düşüşünden önce görünüyor ve hiçbir etiket gerektirmiyor. Bir pano ölçüsü olarak kurulması birkaç günlük iş.

Mekanizma: etiket tanımının sessiz etkisi#

Kayma kaynakları arasında en az konuşulan ama en çok kafa karıştıran etiket tanımı. Doğruluk sayısı, etiketlerin doğru olduğu varsayımına dayanıyor ve bu varsayım sınır durumlarda çöküyor.

Bir üretim hattında "kusurlu" tanımı laboratuvarda net görünüyor ama sahada sınır durumlar var: küçük bir çizik kusur mu, hangi boyuttan sonra kusur? Etiketleme ekibi bu sınırı bir yere koyuyor, saha ekibi başka bir yere koyuyor ve model birinci sınıra göre eğitilmiş oluyor. Sonuç, sahada "model yanlış" denen vakaların bir bölümünün aslında tanım uyuşmazlığı olması. Bu, modelin doğruluğunu iyileştirerek çözülemeyen bir sorun — tanımın netleştirilmesiyle çözülüyor. Pratik ölçüt etiketleyiciler arası anlaşma: iki bağımsız etiketleyicinin aynı görüntüye aynı etiketi verme oranı. Bu oran düşükse modelin doğruluk sayısı zaten o oranın üstüne çıkamıyor, yani ölçümün bir tavanı var ve o tavan modelde değil tanımda.

Karşı görüş#

Üç itiraz var. Birincisi: sahadan test kümesi toplamak pahalı ve yavaş; proje başlamadan önce bu mümkün değil. İkincisi: veri artırma ve alan uyarlama teknikleri kaymanın önemli bölümünü karşılıyor. Üçüncüsü: laboratuvar doğruluğu yararsız değil; kötü bir modeli erken eliyor.

Test kümesinde yüzde doksan yedi doğrulukla devreye aldık. Sahada yüzde yetmiş sekizdi. Farkın yarısı kamera farkıydı, yarısı kusur tanımı uyuşmazlığı.

Birinci itiraz gerçek bir kısıt ve cevabı sırayı değiştirmek: küçük bir saha örneklemesiyle başlamak, laboratuvar kümesini büyütmekten daha bilgilendirici. Yüz saha görüntüsü, on bin laboratuvar görüntüsünden daha çok şey söylüyor. İkinci itiraz kısmen doğru: artırma ve uyarlama teknikleri donanım ve ortam kaymasının bir bölümünü karşılıyor. Ama etiket tanımı uyuşmazlığını ve nadir sınıf eksikliğini karşılamıyor ve alıntıdaki farkın yarısı tam olarak orada. Üçüncü itiraz doğru ve tezle uyumlu — laboratuvar doğruluğu bir alt sınır belirtisi olarak yararlı; yeterlilik kanıtı olarak kullanıldığında yanıltıyor.

Sınırlar ve belirsizlik#

Bu analiz bir doğruluk hedefi önermiyor ve alıntıdaki sayılar tek bir kurulumun sonucu.

• Oranlar örnek: alıntıdaki fark tek bir projede gözlendi, genellenebilir değil.
• Gereken saha örneklem büyüklüğü göreve bağlı: bir eşik verilemiyor.
• Nadir sınıf toplama maliyeti yüksek: hedefli toplama bazı durumlarda pratik olarak mümkün olmuyor.
• Güven dağılımı izlemenin duyarlılığı modele bağlı: her modelde aynı erken uyarıyı vermiyor.

Sonuç#

Görüde laboratuvar doğruluğu sahayı tahmin etmiyor çünkü test kümesi eğitim koşullarını paylaşıyor, saha paylaşmıyor. Kayma altı kaynaktan geliyor ve bunların ikisi — etiket tanımı uyuşmazlığı ve nadir sınıf eksikliği — veri artırma teknikleriyle kapanmıyor.

Pratik yol sırayı değiştirmek: laboratuvar kümesini büyütmek yerine küçük bir saha örneklemesiyle başlamak. Yüz saha görüntüsü, on bin laboratuvar görüntüsünden daha çok şey söylüyor. Buna güven dağılımı izleme — etiket gerektirmeyen tek erken uyarı — ve etiketleyiciler arası anlaşma ölçümü eklendiğinde doğruluk sayısı anlam kazanıyor. Anlaşma oranı düşükse ölçümün bir tavanı var ve o tavan modelde değil tanımda.

Ne yapmalı?#

1. 1Küçük bir saha örneklemesiyle başlayın

   Yüz saha görüntüsü, on bin laboratuvar görüntüsünden daha bilgilendirici.

2. 2Koşul bazlı alt kümeler kurun

   Zorlu ışık, kirli lens, uç açılar. Kararı ortalama değil en kötü alt küme belirlemeli.

3. 3Etiketleyiciler arası anlaşmayı ölçün

   Anlaşma düşükse doğruluk sayısının bir tavanı var ve tavan modelde değil tanımda.

4. 4Güven dağılımını panoya koyun

   Etiket gerektirmeyen tek erken uyarı; doğruluk düşüşünden önce kayıyor.

5. 5Sürekli örnekleme kurun

   Zamansal kaymayı — aşınma, mevsim, süreç değişimi — yakalayan tek yöntem.

6. 6Nadir sınıfı hedefli toplayın

   Kritik durumlar rastgele örneklemeyle yeterli sayıya ulaşmıyor; özel olarak aranmalı.