Bir LLM nasıl eğitilir? Pretraining, SFT ve RLHF/DPO aşamalarını açıklayın.
Cevap
Modern bir sohbet asistanı genelde üç ana aşamadan geçer: dünyayı öğrenme (pretraining), talimat takip etmeyi öğrenme (SFT) ve insan tercihleriyle hizalama (preference tuning).
1. Pretraining
- Trilyonlarca token'lık web, kod, kitap verisi üzerinde next-token prediction (self-supervised) ile eğitilir.
- Hesaplamanın büyük kısmı bu aşamadadır (binlerce GPU, haftalar/aylar).
- Sonuç bir base modeldir: metni devam ettirir, ama soruya cevap vermek yerine soruyu devam ettirebilir.
- Veri kalitesi, filtreleme ve deduplication çok kritiktir. Chinchilla çalışması, compute-optimal eğitim için parametre başına yaklaşık 20 token önermişti. Günümüz modelleri inference maliyetini düşürmek için bunun çok üstünde veriyle eğitiliyor.
2. Supervised Fine-Tuning (SFT / instruction tuning)
- İnsanların veya güçlü modellerin yazdığı (talimat, ideal cevap) çiftleriyle eğitilir.
- Model sohbet formatını, talimat takip etmeyi ve istenen tonu öğrenir.
- Loss genelde sadece cevap tokenları üzerinde hesaplanır.
3. Preference tuning
- RLHF: Aynı prompt'a verilen cevaplar insanlarca sıralanır. Bu tercihlerle bir reward model eğitilir. Ardından LLM, PPO gibi bir RL algoritmasıyla bu ödülü maksimize edecek şekilde optimize edilir. Referans modelden fazla uzaklaşmamak için KL cezası eklenir.
- DPO (Direct Preference Optimization): Ayrı reward model ve RL döngüsü olmadan, (tercih edilen, reddedilen) cevap çiftleri üzerinde doğrudan bir sınıflandırma benzeri loss ile optimize eder. Daha basit, daha stabil ve ucuzdur. Açık modellerde çok yaygındır.
- RLAIF / Constitutional AI: Tercih etiketlerinin bir kısmı, bir ilkeler listesi rehberliğinde başka bir model tarafından üretilir.
4. Güncel eğilim: reasoning modelleri
2024–2026 döneminde matematik ve kod gibi doğrulanabilir görevlerde doğrulanabilir ödülle RL (RLVR, örneğin GRPO) yaygınlaştı. Model uzun düşünme zincirleri üretmeyi bu şekilde öğrenir.
| Aşama | Veri | Amaç |
|---|---|---|
| Pretraining | Ham metin, trilyonlarca token | Dil ve dünya bilgisi |
| SFT | On binlerce–milyonlarca talimat/cevap | Format ve talimat takibi |
| RLHF / DPO | Tercih çiftleri | Yardımseverlik, güvenlik, üslup |
İlgili LLM & Üretken YZ soruları
- RAG'de chunking stratejisi, hybrid search ve reranker neden önemlidir? Retrieval kalitesi düşükse ne yaparsınız?
- Şirket içi dokümanlar (Confluence, PDF, wiki) üzerinde soru cevaplayan bir RAG sistemi tasarlayın.
- Hangi prompt engineering tekniklerini kullanırsınız? Few-shot ve chain-of-thought ne zaman işe yarar?
- LLM'lerde temperature, top-k ve top-p (nucleus) sampling parametreleri ne işe yarar?
- Production'daki bir LLM uygulamasında maliyeti ve gecikmeyi (latency) nasıl düşürürsünüz?
- Prompt injection nedir? LLM tabanlı bir uygulamayı ve agent'ı buna karşı nasıl korursunuz?
Bu konuda başka bir soru biliyor musun?
Mülakatta karşılaştığın soruları ekle, onaylandıktan sonra yayına alınsın.