RESEARCH
Metodoloji
Bir sayı, nasıl ölçüldüğü bilinmiyorsa bilgi değildir. Bu sayfa, Sinaptik Lab'de yayımlanan her ölçümün uymak zorunda olduğu ilkeleri tanımlar.
- İlke
- 6
- Zorunlu alan
- 8
- Yürütme
- Bağımsız
Değişmez altı ilke
Bu ilkelerden birini karşılamayan bir ölçüm yayımlanmaz — sonucun ne kadar ilgi çekici olduğuna bakılmaz.
- 01
Ölçüm tarihi ve sürüm
Her sonuç, ölçümün yapıldığı tarih ve model sürümüyle birlikte yayımlanır. Sürüm bilgisi olmayan sonuç yayımlanmaz.
- 02
Görev seti açıklığı
Kullanılan görev setinin yapısı, alt kümeleri ve örnek sayısı açıklanır. Örnekler kamuya açıksa bağlantı verilir.
- 03
Örnekleme ayarları
Sıcaklık, üst-p ve tekrar sayısı raporlanır. Aynı ayarlarla yeniden üretilebilir olmayan ölçüm yayımlanmaz.
- 04
Puanlama yöntemi
Otomatik ve insan değerlendirmesinin payı belirtilir. İnsan değerlendirmesinde değerlendirici sayısı ve uyum ölçüsü paylaşılır.
- 05
Sınırlılıklar
Her yayın, sonucun ne söylemediğini açıkça listeler. Sınırlılık bölümü olmayan yayın onaylanmaz.
- 06
Ticari bağımsızlık
Benchmark ve araştırmalar danışmanlık müşterilerinden bağımsız yürütülür; sponsorlu içerik ayrıca işaretlenir.
Model benchmark'larında zorunlu alanlar
Bir skor tablosu, aşağıdaki alanların tamamı yayımlanmadan paylaşılmaz.
Test verisi
Görev setinin yapısı, alt kümeleri ve örnek sayısı.
Ölçüm tarihi
Sonucun hangi tarihte alındığı.
Model sürümü
Ölçülen tam sürüm tanımlayıcısı.
Örnekleme
Sıcaklık, üst-p ve tekrar sayısı.
İstem
Kullanılan istem şablonunun tamamı.
Puanlama
Otomatik ve insan değerlendirmesinin payı.
Örneklem
Kaç örnek üzerinden ölçüldüğü.
Sınırlılıklar
Sonucun ne söylemediği.
Editoryal ve ticari ayrım
Araştırma bağımsızdır
Benchmark ve rapor sonuçları, danışmanlık müşterilerinden bağımsız yürütülür. Bir şirketin müşteri olması, değerlendirmede lehine sonuç üretmez.
Sponsorluk işaretlenir
Sponsorlu içerikler açıkça "Sponsorlu" etiketi taşır ve benchmark sayfalarında sponsorluk kabul edilmez.
Düzeltme politikası
Bir ölçümde hata bulunursa sayfa sessizce düzeltilmez: güncelleme geçmişine kayıt eklenir, neyin neden değiştiği yazılır. Düzeltme politikasının tamamı