Bağlam bütçesi ve iddia-kaynak eşlemesi

Teori: pencere geniş, bütçe ayrı#

Bağlam penceresinin sığdırabildiği ile hattın göndermesi gereken aynı şey değildir. Pencereye daha çok parça sığması daha çok parça göndermeyi gerektirmez: her ek parça gecikmeyi ve maliyeti artırır, ayrıca ilgisiz metin modele yanlış izler sunar. Bütçe pencerenin sınırından değil cevabın ihtiyacından türetilir; sınır yalnızca bütçenin üst çerçevesidir.

Bütçeyi iki ayrı sayı olarak tutmak gerekir. Parça sayısı, cevabın kaç farklı kaynağa dayanmasını beklediğinizi söyler; jeton toplamı ise gecikme ve maliyet tarafını bağlar. Yalnızca jeton üstünden bütçe kurmak, tek bir uzun parçanın bütçeyi doldurup diğer kaynakları dışarıda bırakmasına yol açar. Yalnızca parça sayısı üstünden kurmak ise parça uzunlukları geniş bir aralığa yayıldığında gecikmeyi öngörülemez yapar.

Yerleşim bir karardır#

• Parçaları alaka sırasına göre yerleştirin ve sıranın ne anlama geldiğini isteme açıkça yazın; modelin sıralamayı tahmin etmesini beklemeyin.
• Her parçanın başına kimliğini, belge adını ve sürümünü koyun; kaynak gösterimi bu kimliğe dayanacak.
• Aynı belgeden gelen komşu parçaları bitişik yerleştirin ki kesilen cümle kendi devamını yanında bulsun.
• Sistem yönergesi ile parça metnini açık bir ayraçla ayırın; parça metni yönerge gibi okunmamalı.
• Bütçe aşıldığında parçayı ortadan kırpmak yerine en alt sıradaki parçayı bütünüyle çıkarın; yarım parça hem kaynaklanamaz hem yanıltır.

İddia-kaynak eşlemesi#

Cevabın altına kaynak listesi eklemek eşleme değildir; hangi cümlenin hangi parçadan geldiği görünmüyorsa liste yalnızca bir güven süsüdür. Denetlenebilir eşleme, modelden cevabı iddia birimlerine bölmesini ve her birimin yanına dayandığı parça kimliğini yazmasını istemekle kurulur. Böylece doğrulama makine tarafından yapılabilir hale gelir: kimlik gerçekten bağlamda mıydı, gösterilen dayanak o parçanın metninde geçiyor mu.

{
  "cevap": "Yıllık izin talebi en az yedi gün önce yöneticiye iletilir.",
  "iddialar": [
    {
      "metin": "Talep en az yedi gün önce iletilir.",
      "parca_kimligi": "izin-prosedur-v3#madde-7b",
      "dayanak": "7/b) Yıllık izin talebi, en az yedi gün önce ..."
    }
  ],
  "kaynaksiz_iddia_var": false
}

Bu biçimin değeri, kaynağı doğrulanamayan iddiayı bir hata durumuna dönüştürmesidir. Cevaptaki parça kimliği bağlama gönderdiğiniz kimlik listesinde yoksa cevap reddedilir; gösterilen dayanak, gönderilen parça metninde geçmiyorsa cevap reddedilir. İki denetim de modele değil hattın kendi koduna aittir, bu yüzden istem değiştiğinde bile yerinde kalır.

Kaynağı olmayan cevabı bastırmak#

1. 1Boş sonucu meşrulaştırın

   Yönergede "bilgi bağlamda yoksa bilmiyorum de" demek yetmez. Bilmiyorum demenin beklenen ve doğru davranış olduğunu, cevabın alacağı biçimi de vererek belirtin; aksi halde model boşluğu genel bilgisiyle doldurur.

2. 2Eşiği getirme tarafında kurun

   Hiçbir aday makul bir alaka eşiğini geçmiyorsa modele hiç gitmeyin. Eşiği ham benzerlik puanına sabit bir sayı koyarak kurmayın; puanın gezindiği aralık sorgudan sorguya kayar, bu yüzden eşik kendi değerlendirme kümenizde kalibre edilir. Zayıf parçalarla üretim yapmak, uydurma ihtimalini en çok artıran durumdur.

3. 3Kimlik denetimini koda alın

   Cevaptaki her kaynak kimliğini bağlama gönderdiğiniz listeyle karşılaştırın. Listede olmayan kimlik uydurulmuş demektir ve cevap kullanıcıya ulaşmadan durdurulur.

4. 4Reddi kullanıcıya anlamlı gösterin

   Durdurulan cevabın yerine, hangi belge kümesinde arandığını ve neyin bulunamadığını söyleyen bir metin koyun. Sessiz bir hata, kullanıcıyı aynı soruyu farklı biçimlerde tekrar sormaya iter.

Sık yapılan hata#

Yaygın yanılgı, geri getirmenin uydurmayı ortadan kaldırdığını varsaymaktır. Geri getirme, doğru parça geldiğinde uydurma ihtimalini düşürür; yanlış ama ilgili görünen parça geldiğinde tersini yapar, çünkü model artık dayanak gösterebildiği için daha kendinden emin yazar. İkinci yanılgı, bağlama ne kadar çok parça konursa cevabın o kadar iyi olacağını sanmaktır: ilgisiz parçalar cevabı seyreltir ve yanlış kaynağa dayanma ihtimalini artırır.