Ölçüm sorusunu ve hata sınıflarını tanımlamak

Teori: tek kalite puanı neden yön göstermez#

Dil modeli çıktısında "doğruluk" kendi başına tanımsız bir sözcük. Aynı yanıt bir özet görevinde kabul edilebilirken sözleşme sorusunda reddedilir, çünkü iki görevin kabul koşulu farklıdır. Ölçüt görevden ve kullanıcının o görevden beklediği sonuçtan türer; tersi değil. Önce ölçüt seçip sonra göreve uydurmak, ölçümü elinizdeki aracın ölçebildiği şeye daraltır.

Tek bir kalite puanı ikinci bir sorun üretir: yönü siler. Puan düştüğünde elinizdeki tek bilgi "kötüleşti" olur. Oysa iyileştirme kararı hata sınıfına göre farklı katmana dokunur: kaynakta karşılığı olmayan bir iddia geri getirme ve istem işidir, biçim ihlali çıktı şeması işidir, gereksiz reddetme politika metni işidir. Sınıflar ayrı ölçülmediğinde bu katmanlar tek sayının arkasında birbirini gizler.

Sınıfları ayırmanın bedeli etiketleme yükünün artmasıdır; bu yüzden sınıf sayısı elle etiketlenebilir bir aralıkta tutulur. Bir sınıfın listede yer alması için tek ölçüt vardır: ihlali görüldüğünde farklı bir düzeltme eylemine karşılık gelmeli. Aynı düzeltmeye çıkan iki sınıf tek sınıftır; hiçbir düzeltmeye çıkmayan sınıf ise ölçüm değil şikayet başlığıdır.

Ölçüm sorusunun beş bileşeni#

1. 01Görev: hangi girdiyle hangi çıktının üretilmesi ölçülüyor. Tek cümle, tek görev.
2. 02Beklenti: kullanıcı bu çıktıyı hangi durumda işine yarar sayar ve bu kararı kim verir.
3. 03Kabul koşulu: yanıtın geçmiş sayılması için birlikte sağlanması gereken koşullar.
4. 04Hata sınıfları: kabul koşulunun hangi yolla ihlal edildiğini birbirinden ayıran adlar.
5. 05Kapsam dışı: bu ölçümün bilerek ölçmediği şeyler; sonradan tartışma çıkmasın diye yazılır.

Örnek: hata sınıfları birbirine karışmaz#

Tablodaki belirleyici sütun "ayırt edici ölçüt". İki etiketleyici aynı yanıtı okuyup farklı sınıf seçiyorsa sorun etiketleyicide değil, sınıf tanımındadır. Desteksiz iddia ile yanlış atıf bunun klasik örneği: ikisi de atıfla ilgilidir, ama biri bilginin kaynakta hiç bulunmaması, diğeri bilginin gösterilenden başka bir yerde bulunmasıdır. Ayrım yazıya dökülmediğinde ölçüm gürültüye döner.

Karar: hangi sınıf önce ölçülür#

1. 1Zararı sırala

   Her sınıfın kullanıcıya ve kuruma verdiği zararı yazın. Sessiz yanlış bilgi çoğu üründe görünür bir hatadan daha pahalıdır, çünkü kullanıcı onu fark etmeden kullanır; ayrıştırıcı hatası gürültülüdür ama geri dönüşü kolaydır.

2. 2Sıklığı kaba tahmin et

   Elinizdeki kayıtları okuyarak her sınıfın ne kadar sık göründüğünü not edin. Bu bir ölçüm değil, sıralama amaçlı kaba tahmindir ve belgede öyle etiketlenir.

3. 3Ölçülebilirliğe bak

   Sınıfın ihlali bir kontrol fonksiyonuyla doğrulanabiliyor mu, yoksa insan yargısı mı gerekiyor. Deterministik doğrulanabilen sınıf daha erken otomatikleşir, dolayısıyla daha ucuz ölçülür.

4. 4Tek sınıfla başla

   Zararı yüksek, kayıtlarda gözlenebilen ve tanımı en net sınıfı seçin. Ölçüm hattı bir sınıf üzerinde ayağa kalktıktan sonra ikinci sınıfı eklemek ucuzdur.

Sık yapılan hata#

Sahada en çok görülen yanılgı, ölçümü kullanıcı beğenisiyle karıştırmak. Başparmak sinyali bir memnuniyet göstergesidir: uçlarda toplanır, kayıtların küçük bir bölümünde bulunur ve hangi hata sınıfının tetiklendiğini söylemez. İkinci yanılgı, hata sınıflarını ölçüme başladıktan sonra sessizce yeniden adlandırmak. Tanım değiştiğinde eski etiketler yeni tanımın karşılığı olmaktan çıkar ve zaman serisi kırılır; sınıf tanımları bu yüzden sürümlenir ve her tanım değişikliği bir sürüm notu olarak kaydedilir.