Hallucination
Halüsinasyon
Modelin akıcı ve kendinden emin biçimde, gerçekle uyuşmayan bilgi üretmesidir.
Kısa cevap
Halüsinasyon, modelin akıcı ve kendinden emin biçimde gerçek dışı içerik üretmesidir. Bir hata değil, yöntemin doğal sonucudur: model doğruluğu değil olası devamı optimize eder.
Neden oluyor?#
Dil modeli bir doğruluk veritabanı değil, olasılık modelidir: en olası devamı üretir. Bilmediği bir konuda da en olası görünen metni ürettiği için sonuç akıcı ama yanlış olabilir.
- Kaynağa dayandırma (grounding) ve alıntı gösterme.
- Cevabı doğrulayan ikinci bir adım eklemek.
- "Bilmiyorum" cevabını ödüllendiren değerlendirme tasarlamak.
- Hedef uyumsuzluğu: eğitim hedefi "olası devam", "doğru cevap" değil.
- Bilgi boşluğu: model bilmediği konuda da bir cevap üretmeye eğilimlidir.
- Bağlam eksikliği: geri getirme boş döndüğünde model boşluğu doldurur.
- Talimat baskısı: "mutlaka cevap ver" yönündeki istemler uydurmayı teşvik eder.
- Kalibrasyon zayıflığı: modelin güven ifadeleri doğrulukla uyumlu olmak zorunda değil.
Türleri#
| Tür | Ne olur | Tespit |
|---|---|---|
| Olgusal uydurma | Var olmayan bir olgu üretilir | Dış kaynakla doğrulama |
| Kaynak uydurma | Gerçek olmayan atıf verilir | Atıfların otomatik doğrulanması |
| Bağlam dışı çıkarım | Verilen belgede olmayan sonuç üretilir | Kaynaklı cevap zorunluluğu |
| Biçim uydurma | Şemada olmayan alan eklenir | Şema doğrulama |
| Sessiz atlama | İstenen bilgi görmezden gelinir | Beklenen alanların zorunlu kılınması |
Azaltma yöntemleri#
- 01Kaynaklı cevap zorunluluğu: her iddia bağlamdaki bir parçaya bağlanmalı.
- 02Kaçış yolu: "bilgi yetersizse bilmiyorum de" talimatı ve bunun ölçülmesi.
- 03Geri getirme kalitesini ayrı ölçmek: boş dönüş, halüsinasyonun en güçlü habercisi.
- 04Şema zorlama: yapılandırılmış çıktı, biçim uydurmayı büyük ölçüde eler.
- 05İkinci geçiş doğrulama: çıktının bağlama dayandığını ayrı bir çağrıyla denetlemek.
- 06Deterministik kontroller: sayısal tutarlılık, tarih mantığı, toplam denetimi.
Ürün tarafı#
Halüsinasyon tamamen ortadan kalkmadığı için arayüz tasarımı bir güvenlik katmanıdır: kaynağı göstermek, belirsizliği görünür kılmak ve kullanıcının doğrulamasını kolaylaştırmak. Cevabı tek ve kesin bir metin olarak sunan bir arayüz, riski kullanıcıya devreder.
Sık sorulan sorular
Sıcaklığı sıfıra çekmek halüsinasyonu bitirir mi?
Bitirmez. Çıktıyı daha kararlı hale getirir ama modelin bilmediği bir konuda ürettiği yanlış cevabı da kararlı biçimde tekrarlamasına yol açabilir.
Halüsinasyon oranı nasıl ölçülür?
Kendi görev setinizde, çıktıdaki her iddianın bağlamda bir dayanağı olup olmadığını işaretleyerek. Tek bir genel oran yerine görev tipine göre kırılımlı raporlamak daha bilgilendirici.
Kaynaklar
- 01Sinaptik Research — kavram doğrulama notları — Sinaptik Lab · Teknik rapor
- 02Sağlayıcı dokümantasyonları — Model ve altyapı sağlayıcıları · Dokümantasyon
Güncelleme geçmişi
- v1.1Tür tablosu ve azaltma listesi eklendi.
- v1.0İlk yayın.
LEARN
Hallucination konusunu uygulamaya dökmek ister misin?
Kavramı okudun; sırada onu bir rotanın içinde öğrenmek ve bir testle ölçmek var.