Operations
İyi bir benchmark üç şey ister: ölçmek istediğiniz kararı gerçekten temsil eden görevler, tek anlama gelen doğru cevaplar ve eğitim verisine sızmamış bir test kümesi. Kamuya açık kümeler zamanla eğitim külliyatlarına karıştığı için skorlar şişer; bu yüzden kurumlar kendi verisinden türetilmiş, kilitli ve sürümlenmiş kümelerle çalışır ve insan etiketlemeyi protokole bağlar. Alt konular: görev seçimi, örnek büyüklüğü ve güven aralığı, kirlenme (contamination) denetimi, insan etiketleme protokolleri ve kümenin zaman içinde tazelenmesi.
Bir kıyaslama yayımlandığı anda internete girer; sonraki model kuşağı o veriyi eğitim derlemine alır ve skor, yetenekten bağımsız biçimde yükselir. Bu bir ihmal değil mekanizmanın kaçınılmaz sonucu: açık kıyaslama ile temiz test kümesi aynı anda var olamaz. Bu yüzden kamuya açık skorlar bir yetenek ölçüsü olarak giderek daha az bilgi taşıyor.
Semantik komşuluk: bu konuyu anlamak için gereken veya ondan türeyen kavramlar.
Bir yapay zekâ sisteminin çıktısının, tanımlı ölçütlere göre sistematik biçimde ölçülmesidir.
Aynı konunun öğretim ve ölçüm formatları.
Testler
