Model Sürüm Farkı Demosu

Gösterdiği şey#

Bir model sürümü değiştiğinde cevaplanabilir ilk soru "daha iyi mi" değil, "ne değişti" olur. Demo sabit bir girdi kümesini iki sürümden geçirip çıktıları girdi kimliğine göre eşleştirir ve her çift için farkın nerede olduğunu gösterir. Ekranın merkezinde ham çıktılar durur; fark ölçütleri onların üstüne bir yorum katmanı olarak biner, yerlerine geçmez.

Fark nasıl tanımlanıyor#

"Fark" tek bir şey değildir. Metnin kelimeleri değişmiş ama anlamı korunmuş olabilir; biçim bozulmuş, karar tersine dönmüş ya da yalnızca uzunluk kaymış olabilir. Demo bu katmanları ayrı ölçütlerle gösterir ve hiçbirini toplam bir puana indirmez; her ölçütün yanında neyi saydığı ve nerede yanılttığı yazılı durur.

{
  "girdiKimligi": "girdi kümesindeki satırın kalıcı kimliği",
  "surumTaban": "karşılaştırmanın taban aldığı sürüm etiketi",
  "surumKarsi": "tabana karşı konan sürüm etiketi",
  "ciktiTaban": "taban sürümün ham çıktısı, kısaltılmadan",
  "ciktiKarsi": "karşı sürümün ham çıktısı, kısaltılmadan",
  "olcutler": "ölçüt adı -> o ölçütün bu çift için döndürdüğü değer",
  "insanNotu": "inceleyen kişinin serbest metni; boş bırakılabilir",
  "durum": "incelenmedi | fark kabul edildi | gerileme adayı"
}

Arayüz kararları#

Kullanıcı akışı#

1. 1Kümeyi ve tabanı seç

   Girdi kümesi ile taban sürüm seçilir; kümenin kapsamı, yani hangi kullanım için toplandığı, başlık şeridinde yazılı kalır.

2. 2Çiftleri sırala

   Ölçütlerden biri seçilerek çiftler o ölçüte göre sıralanır; sıralamanın hangi ölçüte dayandığı listenin üstünde durur.

3. 3Çifti aç, ham çıktıyı oku

   Seçilen çiftte iki çıktı tam metniyle açılır; vurgu katmanı kapatılabilir, böylece metin yorum olmadan okunabilir.

4. 4Notu ve durumu yaz

   Çift için serbest not girilir ve durum seçilir; "gerileme adayı" seçimi, hangi ölçütün buna yol açtığı işaretlenmeden kaydedilmez.

Belirsizlik nasıl gösteriliyor#

Ekranın en kolay yanlış okunacak yeri, ölçütün sessiz kaldığı çiftlerdir. Demo bu çiftleri "fark yok" diye kapatmaz; ölçütün uygulanamadığı durumu ayrı bir hücre değeri olarak gösterir. İncelenmemiş çiftler de listede kalır, çünkü incelenmemiş olmak bir sonuç değil bir eksiktir.

• Bir ölçüt o çift için uygulanamıyorsa hücre "uygulanamaz" der; sıfır fark ile ölçülemeyen fark aynı gösterilmez.
• İncelenmemiş çiftlerin sayısı listenin başında durur; bu sayı sıfırlanmadan karşılaştırma tamamlanmış sayılmaz.
• Çıktılar örneklem olarak alındıysa kümenin kapsamı başlıkta yazılır ve sonuçların küme dışına taşınamayacağı notu eklenir.
• Modelin aynı girdiye farklı zamanlarda farklı cevap verebileceği, her karşılaştırmanın tek bir çalışmayı gösterdiği notu ekranda kalır.

Sınırlılıklar#

Demo iki sürüm arasında bir hüküm vermez; farkı görünür kılar, kararı okuyana bırakır. Gösterdiği fark yalnızca seçilen girdi kümesi ve tek bir çalışma için geçerlidir, kümenin dışına genellenemez. Sıcaklık gibi örnekleme ayarları veya istem metni değiştiğinde aynı iki sürüm başka bir fark tablosu verir.