LLM halüsinasyonu nedir, neden oluşur? Production'da nasıl azaltır ve ölçersiniz?

Halüsinasyon, modelin akıcı ve kendinden emin görünen ama yanlış veya kaynakta desteklenmeyen bilgi üretmesidir. Uydurma referanslar, var olmayan API fonksiyonları, yanlış tarih ve rakamlar tipik örneklerdir.

Neden oluşur?

• LLM'ler doğruluk değil olası metin üretmek için eğitilir. Bilmediği durumda da akıcı bir devam üretir.
• Eğitim verisinde eksik, eski veya çelişkili bilgi.
• Bilgi kesim tarihinden sonraki olaylar.
• Değerlendirme ve eğitim süreçlerinin "bilmiyorum" demek yerine tahmin etmeyi ödüllendirmesi.
• Nadir konular (long-tail bilgi) ve uzun bağlamda bilginin kaçırılması.

Azaltma yöntemleri

1. Grounding / RAG: Cevabı güvenilir kaynaklara dayandırmak.
2. Prompt: "Sadece verilen bağlamı kullan, yoksa bilmediğini söyle" ve her iddia için kaynak/alıntı istemek.
3. Düşük temperature: Bilgi odaklı görevlerde.
4. Tool kullanımı: Hesaplama için kod çalıştırma, güncel bilgi için arama, kesin veri için veritabanı sorgusu.
5. Doğrulama adımı: Cevabı ayrı bir model çağrısıyla kaynaklara karşı kontrol etmek (self-check, citation verification).
6. Structured output ve kısıtlı seçenekler: Serbest metin yerine enum değerler.
7. Fine-tuning: Alana özgü üslup ve formatta faydalıdır. Yeni bilgi öğretmek için ise tek başına güvenilir değildir.
8. UX: Kaynak linkleri göstermek, kritik kararlarda insan onayı.

Ölçme

• Faithfulness / groundedness: Cevaptaki her iddianın bağlamla desteklenip desteklenmediği. LLM-as-judge veya NLI modelleriyle otomatik ölçülür.
• Golden Q&A seti üzerinde doğruluk.
• Production örneklerinin periyodik insan incelemesi, kullanıcı geri bildirimi.
• Citation doğrulama: Gösterilen kaynak gerçekten o bilgiyi içeriyor mu?

Halüsinasyon tamamen sıfırlanamaz. Hedef riski ölçülebilir kılmak ve kritik alanlarda (hukuk, sağlık, finans) ek kontrol katmanları kurmaktır.