Lineer regresyon ile lojistik regresyon arasındaki fark nedir? Lojistik regresyonda neden MSE yerine log-loss kullanılır?
Cevap
Lineer regresyon sürekli bir değeri tahmin eder: ŷ = wᵀx + b. Lojistik regresyon bir sınıflandırma modelidir. Aynı lineer kombinasyonu sigmoid fonksiyonundan geçirip bir olasılık üretir: p = σ(wᵀx + b) = 1 / (1 + e^-(wᵀx+b)).
| Özellik | Lineer regresyon | Lojistik regresyon |
|---|---|---|
| Çıktı | Gerçek sayı | 0–1 arası olasılık |
| Loss | MSE | Log-loss (binary cross-entropy) |
| Çözüm | Kapalı form (normal equation) veya GD | Sadece iteratif optimizasyon |
| Katsayı yorumu | x bir birim artınca y'deki değişim | x bir birim artınca log-odds'taki değişim |
Neden log-loss?
- Konvekslik: Sigmoid + MSE kombinasyonu non-convex bir loss yüzeyi üretir, local minimum'lara takılabilir. Sigmoid + log-loss ise konvekstir.
- Gradyan: Sigmoid doyduğunda (çok yanlış ama emin tahmin) MSE gradyanı neredeyse sıfırlanır. Log-loss ile gradyan basitçe
(p - y)·xolur, büyük hatalar büyük düzeltme getirir. - Olasılıksal temel: Log-loss, Bernoulli dağılımı altında maximum likelihood tahminine eşdeğerdir.
loss = -np.mean(y * np.log(p + 1e-12) + (1 - y) * np.log(1 - p + 1e-12))Lineer regresyonun varsayımları da sık sorulur: doğrusallık, hataların bağımsızlığı, homoscedasticity (sabit varyans), hataların normalliği ve düşük multicollinearity.
İlgili Makine Öğrenmesi soruları
- Hiperparametre optimizasyonunu nasıl yaparsınız? Grid search, random search ve Bayesian optimization'ı karşılaştırın.
- Feature scaling nedir? Standardization ile normalization arasındaki fark nedir ve hangi modeller ölçeklendirme gerektirir?
- PCA (Principal Component Analysis) nasıl çalışır? Ne zaman kullanılır, ne zaman kullanılmamalıdır?
- NumPy kullanarak k-means algoritmasını sıfırdan yazın. k değerini nasıl seçersiniz ve algoritmanın sınırlamaları nelerdir?
- XGBoost ve LightGBM klasik gradient boosting'den hangi açılardan farklıdır? En önemli hiperparametreleri nelerdir?
- Random Forest ile Gradient Boosting arasındaki fark nedir? Bagging ve boosting'i karşılaştırın.
Bu konuda başka bir soru biliyor musun?
Mülakatta karşılaştığın soruları ekle, onaylandıktan sonra yayına alınsın.