Halüsinasyon, yanlılık ve güven

Teori: akıcılık ile doğruluk ayrı eksenlerdir#

Model her adımda 'bu metin nasıl devam eder' sorusunu yanıtlar, 'bu doğru mu' sorusunu değil. Bir kaynak künyesi, bir madde numarası veya bir tarih istendiğinde, o biçimde bir dizinin nasıl göründüğünü iyi bilir; karşılığının gerçekte var olup olmadığını denetleyecek bir mekanizması yoktur. Bu yüzden uydurulan bilgi rastgele saçmalama gibi değil, gerçeğin tıpatıp benzeri gibi görünür. Tehlikeli olan da budur.

Kendinden emin üslup da aynı düzeneğin sonucudur. Eğitim verisindeki metinlerin çoğu bilgiyi çekincesiz bir dille yazan metinlerdir; model bu üslubu da öğrenir. Dolayısıyla üslubun kararlılığı, arkasındaki bilginin sağlamlığı hakkında bir işaret taşımaz. İnsanlarda kabaca işe yarayan 'emin konuşuyorsa biliyordur' sezgisi burada geçersizdir.

Yanlılık iki yerden gelir. Birincisi veri: model hangi grupların, dillerin ve bakış açılarının metinde çok, hangilerinin az temsil edildiğini de öğrenir. İkincisi sorunun kurulması: aynı olayı iki farklı çerçeveyle sorduğunuzda iki farklı ağırlıkta cevap alırsınız. Birincisini kullanıcı olarak değiştiremezsiniz; ikincisi tamamen sizin elinizdedir.

Uygulamada: hata tipleri#

Azaltmak, yok etmek değil#

• Belgeyi girdiye koymak uydurmayı azaltır, ortadan kaldırmaz: yanlış veya ilgisiz bir belge verilirse hata oranı yükselir.
• Modele 'emin değilsen söyleme' demek yardımcı olur ama garanti değildir; talimat bir davranış eğilimi kurar, bir kilit değil.
• Çıktıyı ikinci bir modele denetletmek bazı hataları yakalar; iki modelin aynı yanılgıyı paylaştığı durumları yakalamaz.
• Doğrulanabilirlik en güçlü araçtır: cevabın hangi cümleye dayandığını görebiliyorsanız kontrol maliyeti okuma maliyetine iner.
• Ek eğitim üslup ve biçim gibi davranışları öğretir; eksik bilgiyi tamamlamanın yolu eğitim değil, bilgiyi girdiyle sağlamaktır.

Karar: neyi devredersiniz#

1. 1Hatanın bedelini yazın

   Yanlış çıktı içeride düzeltilir mi, yoksa dışarıya mı gider? Bedel arttıkça insan denetimi zorunlu hale gelir.

2. 2Doğrulama maliyetini ölçün

   Çıktıyı kontrol etmek işi baştan yapmaktan ucuzsa devretmek kazandırır; değilse kazandırmaz.

3. 3Kaynağı belirleyin

   Cevap bir belgeye dayanmalıysa belgeyi girdiye koyun ve çıktıda hangi cümleye dayandığını isteyin.

4. 4Örneklem üzerinde ölçün

   Kendi örneklerinizden oluşan küçük bir kümede doğru sayısını sayın; tek başarılı denemeyi kanıt saymayın.

5. 5Sınırı yazılı hale getirin

   Hangi iş modele devredilir, hangisi devredilmez; bunu kullanan herkesin gördüğü bir cümleyle yazın.

Sık yapılan hata#

İki yanılgı sık görülür. Birincisi 'daha iyi bir model gelince bu sorun biter' beklentisidir; hata oranı düşse de düzenek aynı kalır, doğruluk denetimi modelin içinde değil kurduğunuz sürecin içindedir. İkincisi, bir kez denenip doğru cevap alındığında sistemin güvenilir sayılmasıdır. Tek bir örnek ölçüm değildir; aynı görevin farklı ve zor örnekleriyle sınanmayan hiçbir kurulum hakkında güven ifadesi kullanılamaz.