Kıyaslama kirlenmesi bir kaza değil, yapısal bir sorundur

Tez#

Makine öğrenmesinin temel yöntemsel kuralı basit: test kümesi eğitimde görülmemiş olmalı. Bu kural, veri kümelerinin yerel ve kapalı olduğu dönemde uygulanabilirdi — araştırmacı bölmeyi kendisi yapıyor, test kümesini kilitliyor ve yalnızca sonunda bir kez bakıyordu.

Büyük dil modelleri bu düzeni yapısal olarak bozdu. Eğitim derlemi internetin büyük bölümü ve kıyaslamalar internette yayımlanıyor. Bir kıyaslama açık olduğu sürece — makalesi, deposu, tartışıldığı forum girdileri, örnek soruları içeren blog yazıları — sonraki model kuşağının derlemine girme olasılığı yüksek. Sonuç: skor iki bileşenin toplamı hâline geliyor, yetenek artı ezber, ve ikisi ayrıştırılamıyor. Bu bir sağlayıcı ihmali değil; açık kıyaslama fikrinin kendi başarısının sonucu.

Bağlam: kirlenmenin dört yolu#

Kirlenme yalnızca test sorularının doğrudan derleme girmesiyle olmuyor. Dört ayrı yol var ve dördü de farklı derecede tespit edilebilir.

Dördüncü satır en sinsi olanı çünkü veri sızması içermiyor. Bir model ailesi geliştirilirken hangi mimari kararın iyi olduğuna kıyaslama skorlarına bakılarak karar veriliyorsa, model o kıyaslamaya göre şekillenir — test verisi hiç görülmese bile. Bu, klasik istatistikte bilinen bir sorun: test kümesine tekrar tekrar bakmak, onu bir doğrulama kümesine dönüştürür.

Kanıt: skorun ne söylediği ve söylemediği#

Kirlenmiş bir kıyaslama skoru tümüyle bilgisiz değil; sınırlı ve belirli bir bilgi taşıyor. Ayrımı yapmak, skorları tümden reddetmekten daha kullanışlı.

• Söylediği: model bu tür göreve bir biçimde karşılık verebiliyor. Alt sınır bilgisi olarak değerli.
• Söylemediği: aynı görevin daha önce görülmemiş varyantlarında nasıl davranacağı. Genelleme hakkında bilgi vermez.
• Yanıltıcı olduğu yer: iki modeli karşılaştırmak. Kirlenme dereceleri farklıysa sıralama yeteneği değil derlem örtüşmesini yansıtır.
• Tümüyle kör olduğu yer: sizin verinizdeki performans. Kıyaslama alanı ile sizin alanınız arasındaki fark ölçülmemiştir.

Üçüncü madde en pratik sonucu doğuruyor: kıyaslama skorlarına dayanan model seçimi kararları güvenilmez. İki model arasındaki iki puanlık fark, yetenek farkı olabileceği gibi birinin o kıyaslamayı daha çok görmüş olması da olabilir. Bu belirsizlik ölçülemediği için karar verirken hesaba katılamıyor; hesaba katılamayan bir belirsizlik ise sessizce yok sayılıyor.

Mekanizma: neden kapatılamıyor#

Kirlenmeye karşı önerilen çözümler var ve hiçbiri sorunu tümden kapatmıyor. Nedenini görmek, beklentileri doğru kurmaya yardımcı oluyor.

1. 1Kapalı test kümesi

   Sorular yayımlanmaz, yalnızca sonuçlar açıklanır. Kirlenmeyi geciktirir ama bağımsız doğrulanabilirliği ortadan kaldırır — kimse skoru yeniden üretemez.

2. 2Kanarya dizgileri

   Veri kümesine benzersiz işaretler gömülür; derlemde bulunursa sızma kanıtlanır. Yalnızca doğrudan sızmayı yakalar.

3. 3Sürekli tazelenen set

   Sorular periyodik olarak değiştirilir. Kirlenmeyi yavaşlatır ama zaman içinde karşılaştırılabilirliği bozar.

4. 4Canlı insan karşılaştırması

   Kullanıcılar iki çıktıyı kör olarak karşılaştırır. Kirlenmeye dirençli ama pahalı ve neyin ölçüldüğü belirsizleşir.

5. 5Özel alan seti

   Kurum kendi verisiyle kendi setini kurar. Kirlenmez ve alana uygun ölçer; karşılığında kamuya açık karşılaştırma imkânı kalmaz.

Beş çözümün ortak dersi şu: kirlenme direnci ile karşılaştırılabilirlik ters yönde çekiyor. Bir kıyaslama ne kadar açık ve tekrarlanabilirse o kadar hızlı kirleniyor; ne kadar kapalı ve özelse o kadar temiz kalıyor ama başkalarının sonuçlarıyla karşılaştırılamıyor. Bu, çözülecek bir mühendislik sorunu değil, yönetilecek bir ödünleşim.

Karşı görüş#

En güçlü itiraz şu: sağlayıcılar kirlenme denetimi yapıyor ve derlemlerinden kıyaslama verisini ayıklıyor. Bu doğru — büyük sağlayıcılar bu denetimi raporluyor ve bazı durumlarda ayıklama sonrası skorları da yayımlıyor. İkinci itiraz: kirlenme olsa bile skorlar pratikte modelleri doğru sıralıyor; saha deneyimi genellikle kıyaslama sıralamasıyla uyuşuyor.

Kıyaslama sıralamasına göre en iyi modeli seçtik. Kendi verimizde üçüncü sıradaki model daha iyi çıktı. Fark, bizim alanımızın kıyaslamada hiç temsil edilmemesiydi.

İlk itiraz için nüans şu: ayıklama doğrudan sızmayı azaltıyor ama tablodaki diğer üç yolu kapatmıyor ve doğrulaması sağlayıcı beyanına dayanıyor. Bağımsız denetim olmadığı için ayıklamanın kapsamı dışarıdan bilinemiyor. İkinci itiraz daha ilginç çünkü kısmen doğru ve tezi zayıflatmıyor: skorlar kaba sıralamayı doğru verebilir — çok zayıf bir modeli çok güçlü bir modelden ayırt eder. Ama karar genellikle kaba sıralamada değil, birbirine yakın iki model arasında veriliyor ve orada kirlenme belirsizliği farkla aynı büyüklükte. Alıntı bunun üstüne bir şey ekliyor: kıyaslama alanınızı temsil etmiyorsa sıralama sizin için geçerli değil, kirlenme olmasa bile.

Sınırlar ve belirsizlik#

Bu analizin en zayıf noktası niceliksel olmaması: kirlenmenin skorlara ne kadar katkı verdiği ölçülemiyor ve ölçülemediği için argüman yön belirtiyor, büyüklük belirtmiyor.

• Kirlenme miktarı ölçülemiyor: dolaylı ve dağılım sızması tespit edilebilir değil; toplam etki bilinmiyor.
• Ayıklama kapsamı doğrulanamıyor: sağlayıcı beyanlarının bağımsız denetimi yok.
• Kaba sıralama geçerliliği tartışmalı: skorların çok farklı modelleri doğru sıralayıp yakın modelleri sıralayamadığı iddiası sistematik olarak sınanmadı.
• Türkçe kıyaslamalar özelinde veri yok: kirlenmenin Türkçe test kümelerinde ne düzeyde olduğuna dair yayımlanmış inceleme bilmiyoruz.

Sonuç#

Kamuya açık kıyaslamalar hâlâ işe yarıyor ama işlevi değişti: bir yetenek sıralaması olmaktan çıkıp bir alt sınır göstergesine dönüştüler. "Bu model bu tür göreve karşılık verebiliyor" bilgisi değerli; "bu model şu modelden iki puan iyi" bilgisi ise artık yorumlanamaz.

Pratik sonuç: model seçimi kararının dayanağı kamuya açık skorlar değil, kendi verinizle kurduğunuz özel set olmalı. Bu set kirlenmez, alanınızı temsil eder ve kararınızı doğrudan destekler. Karşılığında başkalarının sonuçlarıyla karşılaştırılamaz — ama zaten karşılaştırmak istediğiniz şey başkalarının alanındaki performans değil, kendi alanınızdaki performanstı.

Ne yapmalı?#

1. 1Model seçimini kendi setinizle yapın

   Kamuya açık skorlar aday listesini daraltmak için kullanılsın; karar kendi verinizde alınsın.

2. 2Kendi setinizi yayımlamayın

   Yayımlandığı anda kirlenmeye başlar. Yöntemi ve sonuçları yayımlayın, soruları saklayın.

3. 3Skor raporlarında kirlenme notu arayın

   Ayıklama denetimi yapılmış mı, yapılmışsa kapsamı ne? Bu not yoksa skor daha az bilgi taşır.

4. 4Yakın skorları fark saymayın

   İki model arasındaki küçük fark, kirlenme belirsizliğiyle aynı büyüklükte olabilir. Karar için yeterli değil.

5. 5Setinizi periyodik tazeleyin

   Kendi setiniz bile zamanla eskir: kullanım değişir, sorular temsil gücünü yitirir.