Halüsinasyon Ölçüm Düzeni

Soru#

Erişimli üretim hattında cevabın tamamı doğru ya da yanlış değildir; genellikle bir cümlesi bağlamdan gelir, bir cümlesi modelin kendi dağarından doldurulur. Soru, bu ikisini ayırt edecek bir ölçümün nasıl kurulacağıdır: cevabın hangi iddiası verilen bağlamda dayanağa sahip, hangisi değil? İkincil soru, bu ayrımın insan hakeme gerek kalmadan ne ölçüde otomatikleştirilebileceğidir.

Düzen#

Birim, soru–bağlam–cevap üçlüsüdür. Üçlüler iki aileye ayrılır: bağlamın cevaba yetecek bilgiyi taşıdığı yeterli küme ve bilginin kasten eksik bırakıldığı yetersiz küme. İkinci aile olmadan düzen yanıltıcıdır; çünkü bir ölçüt yalnızca bilgi mevcutken doğru davranıyorsa dayanaksızlığı değil kolaylığı ölçmüş olur.

• Veri: aynı sorular üzerine kurulu yeterli ve yetersiz bağlam çiftleri.
• Karşılaştırma tabanı: iddia düzeyinde elle işaretlenmiş küçük bir hakem kümesi.
• Değişken: iddia ayrıştırma yöntemi ve dayanak doğrulayıcısının türü.
• Sabitler: üretim modeli, istem şablonu, parça boyu, geri getirilen parça sayısı.
• Kör tutulan taraf: doğrulayıcı, üçlünün hangi aileden geldiğini bilmez.

Ölçüt#

Ölçüm cevap düzeyinde değil iddia düzeyinde yapılır; bir cevabın puanı, içindeki iddiaların dayanak durumundan toplanır. Bu ayrıştırma, tek bir dayanaksız cümlenin doğru cümleler arasında görünmez kalmasını engeller. Ölçütler ayrıca modelin susma davranışını ayrı tutar: bağlam yetersizken cevap vermemek hata değil, beklenen davranıştır.

İşaretleme akışı#

1. 1Cevabı iddialara ayır

   Cevap, tek tek doğrulanabilir en küçük ifadelere bölünür; bağlaçla birleştirilmiş bileşik cümleler ayrıştırılır.

2. 2Her iddia için dayanak ara

   Yalnızca modele verilen bağlam içinde arama yapılır; dış bilgiye başvurulmaz, çünkü ölçülen şey dayandırılabilirliktir.

3. 3Dayanak durumunu sınıfla

   İddia dayanaklı, bağlamla çelişen ya da bağlamda karşılığı olmayan biçiminde etiketlenir; son sınıf, dışarıda doğru olsa bile dayanaksız sayılır.

4. 4Örneklemi hakeme ver

   Etiketlerin bir bölümü elle işaretlenmiş hakem kümesiyle kıyaslanır; uyuşmazlık yüksekse ayrıştırma adımı yeniden yazılır.

Beklenen kırılma noktaları#

• Sayısal ve tarih içeren iddialarda, yakın ama aynı olmayan değerlerin dayanaklı sayılması beklenir.
• Örtük iddialarda — ima edilen ama yazılmayan bilgi — ayrıştırma adımının kararsız kalması beklenir.
• Birden çok belgenin birbiriyle çeliştiği bağlamlarda çelişki etiketi hem modele hem doğrulayıcıya yanlış atanabilir.
• Uzun gerekçe zincirlerinde ara adımların iddia sayılıp sayılmayacağı sınırda kalır; iddia sayıldıklarında payı aşağı çekmeleri beklenir.
• Bağlamın dili cevabın dilinden farklı olduğunda dayanak eşleştirmesinin zayıflaması beklenir.

Sınırlılıklar#

Düzen dayandırılabilirliği ölçer, doğruluğu ölçmez: bağlamda karşılığı olmayan ama dünyada doğru bir iddia burada dayanaksız sayılır ve bu bilinçli bir tercihtir. Hakem kümesi küçük tutulduğu için uyuşma incelemesi yön verir, hüküm vermez. Ayrıca iddia ayrıştırmasının kendisi bir model işiyse, ölçtüğü hatanın bir kısmını kendisi üretebilir.