Prompting, RAG ve fine-tuning arasında nasıl seçim yaparsınız?
Cevap
Kısa cevap: önce prompting, bilgi eksikse RAG, davranış/format/üslup sorunu varsa veya maliyet/gecikme düşürmek gerekiyorsa fine-tuning. Bunlar birbirinin alternatifi değil, çoğu zaman birlikte kullanılır.
| Kriter | Prompting | RAG | Fine-tuning |
|---|---|---|---|
| Ne çözer | Talimat, format, basit görevler | Güncel/özel bilgiye erişim | Davranış, üslup, format, dar görevde uzmanlık |
| Yeni bilgi | Bağlama sığdığı kadar | Evet, güncellenebilir | Güvenilmez, halüsinasyona açık |
| Güncelleme | Anında | Index'i güncellemek yeterli | Yeniden eğitim gerekir |
| Kaynak gösterme | Zor | Doğal | Yok |
| Başlangıç maliyeti | Çok düşük | Orta (altyapı) | Yüksek (veri hazırlama, eğitim, eval) |
| Inference maliyeti | Uzun prompt pahalı olabilir | Bağlam token'ları ekler | Kısa prompt ve küçük model ile düşebilir |
Karar akışı
- İyi bir prompt ve birkaç few-shot örnekle başla, bir eval seti kur.
- Model, şirkete özel veya güncel bilgiyi bilmiyorsa: RAG.
- Model bilgiye sahip ama tutarlı format, belirli bir ton, karmaşık bir çıktı şeması veya alan jargonunu tutturamıyorsa: fine-tuning.
- Büyük modelin iyi yaptığı dar bir görevi daha ucuz ve hızlı yapmak istiyorsan: büyük modelin çıktılarıyla küçük modeli fine-tune et (distillation).
Örnekler
- İK politikaları hakkında soru cevaplayan asistan: RAG (politikalar değişir, kaynak gösterilmeli).
- Destek taleplerini 40 kategoriye sınıflandırma, saniyede binlerce istek: küçük modeli fine-tune etmek.
- Tıbbi raporları belirli bir şablonda özetleme: fine-tuning + gerekirse RAG.
Fine-tuning öncesi sorulacak soru: "Elimde yüzlerce/binlerce kaliteli örnek ve bir değerlendirme seti var mı?" Yoksa fine-tuning genelde erkendir.
İlgili LLM & Üretken YZ soruları
- RAG'de chunking stratejisi, hybrid search ve reranker neden önemlidir? Retrieval kalitesi düşükse ne yaparsınız?
- Şirket içi dokümanlar (Confluence, PDF, wiki) üzerinde soru cevaplayan bir RAG sistemi tasarlayın.
- Hangi prompt engineering tekniklerini kullanırsınız? Few-shot ve chain-of-thought ne zaman işe yarar?
- LLM'lerde temperature, top-k ve top-p (nucleus) sampling parametreleri ne işe yarar?
- Production'daki bir LLM uygulamasında maliyeti ve gecikmeyi (latency) nasıl düşürürsünüz?
- Prompt injection nedir? LLM tabanlı bir uygulamayı ve agent'ı buna karşı nasıl korursunuz?
Bu konuda başka bir soru biliyor musun?
Mülakatta karşılaştığın soruları ekle, onaylandıktan sonra yayına alınsın.