Kendi değerlendirme kümenizi kurmak

Kararı yazılmamış bir değerlendirme kümesi, birkaç ay içinde kimsenin bakmadığı bir gösterge tablosuna dönüşüyor. Sıra çoğu ekibin yaptığının tersidir: önce karar, sonra metrik, sonra ayırt edilmek istenen fark ve ondan türeyen örnek sayısı, en sonda örnek toplama ve etiketleme. Bu sırayla gidilmediğinde ekip önce binlerce örnek topluyor, sonra bu örneklerle hangi soruya cevap verileceğini tartışmaya başlıyor.

"Kaç örnek yeter?" sorusunun tek başına cevabı yoktur; cevabı olan soru şudur: "Hangi büyüklükteki bir farkı gürültüden ayırmak istiyorum?" Ayırt etmek istediğiniz fark küçüldükçe gereken örnek sayısı hızla büyür. Bu ilişki ölçüme değil aritmetiğe dayanır, dolayısıyla kümeyi kurmadan önce hesaplanabilir.

Tablodaki aralık tek bir oranın kestirimi içindir; iki sürümü karşılaştırmak daha zordur. Bağımsız iki koşuda farkın belirsizliği tek bir oranınkinden yaklaşık bir buçuk kat geniştir, üstelik bir farkı güvenle görmek aralığın sıfırı dışlamasından fazlasını ister. Bu yüzden yüz örneklik bir küme on puanlık bir farkı tek başına güvenceye almaz. Açığı kapatan tasarım kararı şudur: iki sürümü aynı örnekler üzerinde koşturmak. Eşleştirilmiş tasarımda ilgilendiğiniz büyüklük iki bağımsız oran değil, yalnızca iki sürümün farklı davrandığı örneklerdeki dengedir; bu da varyansı düşürür ve aynı örnek sayısıyla daha küçük farkları görünür kılar. Kural basittir: karşılaştırma yapılacaksa her sürüm aynı kümenin aynı sürümünde koşulur.

Üretim trafiği başı ağır bir dağılıma sahiptir: birkaç sık niyet hacmin çoğunu kaplar. Rastgele örneklem bu dağılımı sadakatle taşır ve tam da bu yüzden nadir ama pahalı durumları neredeyse hiç içermez. Sistemin gerçekte hangi durumda başarısız olduğunu öğrenmek istiyorsanız, örneklem trafiğin bir kopyası olamaz.

• Niyet veya görev türü: her tür için taban kota koyun, hacim payını değil.
• Girdi uzunluğu: kısa, orta ve uzun girdiler ayrı tabaka; uzun girdilerde farklı hatalar çıkar.
• Zorluk: uzmanın tereddüt ettiği örnekler ayrı tabaka; ayırt edici güç oradadır.
• Dil ve yazım: eksik diyakritik, karışık dil ve yazım hatası içeren gerçek girdiler.
• Nadir ve pahalı durumlar: hacimle orantısız biçimde elle eklenir ve ayrı raporlanır.

Bu yüzden iki küme tutmak pratikte daha iyi çalışıyor: trafiğin dağılımını taşıyan bir "dağılım kümesi" ve nadir durumları yoğunlaştıran bir "riskli durum kümesi". Skorları asla ortalamayın; ikisi farklı soruya cevap verir. Ortalandıklarında riskli durumlardaki düşüş, dağılım kümesindeki hacim tarafından yutulur.

Etiketleyiciler tanımları değil örnekleri okur. "Cevap yeterli olmalıdır" cümlesi iki kişide iki farklı eşik üretir; yanına bir yeterli ve bir yetersiz örnek konduğunda eşik ortaklaşır. Kılavuzun kalitesini ölçen şey uzunluğu değil, sınır durumu sayısıdır.

1. 1Etiket kümesini kapat

   Etiketler birbirini dışlamalı ve bütün durumları kapsamalı; "diğer" etiketi varsa her kullanımında gerekçe zorunlu kılınır.

2. 2Her etikete iki örnek yaz

   Bir açık olumlu, bir de yakın-ama-değil olumsuz örnek. İkincisi sınırı tanımlar, birincisi yalnızca etiketi anlatır.

3. 3Sınır durumu listesi aç

   Kısmen doğru cevap, boş cevap, soruyu reddetme, birden çok doğru cevap: her biri için karar kuralı yazılır.

4. 4Yirmi örnekle pilot tur koş

   İki etiketleyici aynı yirmi örneği etiketler; amaç veri toplamak değil, kılavuzun nerede sustuğunu görmektir.

5. 5Kılavuzu sürümle

   Her etiketin yanında hangi kılavuz sürümüyle verildiği saklanır; kılavuz değişince eski etiketler otomatik olarak güncel sayılmaz.

Kılavuz canlı bir belgedir ama keyfî değildir: her satırı bir anlaşmazlığın çözümünden doğar. Kılavuza yeni bir kural eklendiğinde, o kuralın etkilediği eski örneklerin yeniden etiketlenip etiketlenmeyeceğine karar verilmeli ve bu karar da kayda geçmeli. En sık atlanan nokta budur; kümeler zamanla iki farklı kılavuzla etiketlenmiş karışık bir yığına dönüşür.

Ham uzlaşma yüzdesi, etiket dağılımı dengesiz olduğunda yanıltır. Örneklerin çoğu "uygun" ise, hiç düşünmeden hep "uygun" diyen iki kişi yüksek bir yüzde üretir ve bu sayı kılavuzun net olduğunu değil, görevin kolay göründüğünü söyler. Şans düzeltmeli katsayılar tam olarak bu payı çıkarır: rastgele de elde edilebilecek uzlaşmanın üzerine ne kattığınızı ölçerler.

Literatürde yaygın olarak alıntılanan yorum ölçeği (Landis ve Koch) kappa değerlerini "zayıf", "orta", "güçlü" gibi bantlara böler. Bu bir uzlaşımdır, sizin alanınızdan türetilmiş bir eşik değil. Yüksek riskli bir karar besleyen kümede kendi eşiğinizi daha yukarıya koyun ve önemlisi, eşiği ölçümden önce yazın; sonra yazıldığında çıkan her değer gerekçelendirilebilir hâle gelir.

Hakem turunun amacı kimin haklı olduğunu bulmak değil, hangi kuralın eksik olduğunu bulmaktır. Bu bakış açısı farkı, turun çıktısını değiştirir: birincisinde elinizde düzeltilmiş etiketler kalır, ikincisinde düzeltilmiş etiketler ve bir sonraki turda o anlaşmazlığın tekrarlanmasını engelleyen bir kural kalır.

1. 01Anlaşmazlığın kaydı: örnek kimliği, iki etiket, iki gerekçe.
2. 02Hakemin kararı ve kararın dayandığı kılavuz maddesi.
3. 03Kılavuzda böyle bir madde yoksa: yeni madde metni.
4. 04Yeni maddenin geriye dönük etkisi: hangi eski örnekler yeniden etiketlenecek.
5. 05Kılavuzun yeni sürüm numarası ve tarihi.

Bir skora her baktığınızda ve ona göre bir şey değiştirdiğinizde, kümeye biraz daha uyum sağlarsınız. Bu uyum kötü niyetli değil, kaçınılmazdır: yüzlerce küçük karar aynı örnek yığınına göre alınır ve küme yavaşça geliştirme sürecinin bir parçasına dönüşür. Sonuçta skor yükselmeye devam ederken üretim kalitesi yerinde sayar.

Tek bir kural bu ayrımı ayakta tutmaya yetiyor: kilitli bölümden bir örneğe hata ayıklamak için bakıldıysa, o örnek kalıcı olarak geliştirme bölümüne taşınır. Kuralı yazın ve istisnasız uygulayın. "Sadece bu seferlik" diye açılan bir kilitli bölüm, üçüncü seferde artık kilitli değildir ve bunu kimse fark etmez.

Bir değerlendirme kümesi üç ayrı mekanizmayla bayatlıyor. Birincisi ürün değişiyor ve trafik kümenin temsil ettiği dağılımdan uzaklaşıyor. İkincisi kolay örnekleri artık her sürüm geçiyor; küme sürümleri ayırt etme gücünü kaybediyor. Üçüncüsü, herkese açık kümeler eğitim verisine sızıyor (kirlenme); kendi kümeniz bu riski azaltır ama kümeyi yayımladığınız anda aynı süreç sizin için de başlar.

• Dönemsel dağılım karşılaştırması: tabaka payları trafikten belirgin biçimde ayrıldıysa örneklem yenilenir.
• Ayırt etme gücü kontrolü: son birkaç sürümün hepsinin doğru bildiği örnekler emekliye ayrılır.
• Yenileme oranı kaydı: her tazelemede kaç örneğin değiştiği yazılır; sessiz değişiklik yapılmaz.
• Kirlenme önlemi: küme dışarı paylaşılıyorsa bir bölümü paylaşılmadan tutulur.
• Emekli örnekler silinmez, arşive alınır: geçmiş sürümleri yeniden ölçmek gerekebilir.

Küme sürümü olmadan skor karşılaştırması anlamsızdır. Kümeyi tazelediğinizde, yeni sürümde yalnızca yeni modeli değil bir önceki modeli de koşturun; aksi hâlde kümenin zorlaşmasından gelen düşüşü modelin gerilemesi sanarsınız. Rapor satırının tam hâli şudur: metrik değeri, güven aralığı, küme sürümü, model sürümü ve koşturma tarihi.