Bias-variance tradeoff (yanlılık-varyans dengesi) nedir?
Cevap
Bir modelin beklenen hatası kabaca bias² + variance + indirgenemez gürültü olarak ayrışır. Bias, modelin fazla basit olmasından gelen sistematik hatadır. Variance ise modelin eğitim verisindeki küçük değişikliklere aşırı duyarlı olmasından gelen hatadır. Birini azaltmak genelde diğerini artırır.
Belirtiler
| Durum | Train hatası | Validation hatası | Tipik sebep |
|---|---|---|---|
| Yüksek bias (underfitting) | Yüksek | Yüksek | Model çok basit, özellik eksik |
| Yüksek variance (overfitting) | Düşük | Yüksek | Model çok karmaşık, veri az |
| Dengeli | Düşük | Düşük, train'e yakın | Uygun kapasite |
Ne yapılır?
- Yüksek bias: daha karmaşık model, yeni özellikler, regularization'ı azaltmak, daha uzun eğitim.
- Yüksek variance: daha fazla veri, regularization (L1/L2, dropout), daha basit model, early stopping, ensemble (bagging).
Örnek: Lineer regresyon ile sinüs dalgası fit etmek yüksek bias üretir. 15. dereceden polinomla 20 noktaya fit etmek ise yüksek variance üretir.
Not: Büyük derin ağlarda "double descent" denen bir olgu gözlenir. Parametre sayısı interpolation eşiğini geçtikten sonra test hatası yeniden düşebilir. Klasik U eğrisi her zaman geçerli değildir.
İlgili Makine Öğrenmesi soruları
- Hiperparametre optimizasyonunu nasıl yaparsınız? Grid search, random search ve Bayesian optimization'ı karşılaştırın.
- Feature scaling nedir? Standardization ile normalization arasındaki fark nedir ve hangi modeller ölçeklendirme gerektirir?
- PCA (Principal Component Analysis) nasıl çalışır? Ne zaman kullanılır, ne zaman kullanılmamalıdır?
- NumPy kullanarak k-means algoritmasını sıfırdan yazın. k değerini nasıl seçersiniz ve algoritmanın sınırlamaları nelerdir?
- XGBoost ve LightGBM klasik gradient boosting'den hangi açılardan farklıdır? En önemli hiperparametreleri nelerdir?
- Random Forest ile Gradient Boosting arasındaki fark nedir? Bagging ve boosting'i karşılaştırın.
Bu konuda başka bir soru biliyor musun?
Mülakatta karşılaştığın soruları ekle, onaylandıktan sonra yayına alınsın.