L1 ve L2 regularization arasındaki fark nedir? L1 neden sparse (seyrek) ağırlıklar üretir?
Cevap
Her ikisi de loss fonksiyonuna ağırlıkların büyüklüğünü cezalandıran bir terim ekler. L1 (Lasso) mutlak değerlerin toplamını (λ·Σ|w|), L2 (Ridge) karelerin toplamını (λ·Σw²) ekler.
| Özellik | L1 (Lasso) | L2 (Ridge) |
|---|---|---|
| Ceza | λ·Σ abs(w) | λ·Σ w² |
| Etki | Bazı ağırlıkları tam 0 yapar | Ağırlıkları küçültür, 0 yapmaz |
| Kullanım | Özellik seçimi, yorumlanabilirlik | Multicollinearity, genel stabilite |
| Bayesçi yorum | Laplace prior | Gaussian prior |
L1 neden sıfır üretir?
- Gradyan açısından: L2'nin gradyanı
2λw'dir, w küçüldükçe ceza da küçülür ve w 0'a asimptotik yaklaşır. L1'in gradyanı ise sabitλ·sign(w)'dir. Küçük ağırlıklar da aynı kuvvetle 0'a itilir ve 0'da kalır. - Geometrik açıdan: L1 kısıt bölgesi bir eşkenar dörtgendir (köşeleri eksenlerde). Loss konturları bu bölgeye genelde köşede, yani bazı koordinatların 0 olduğu noktada değer.
Elastic Net ikisini birleştirir. Korelasyonlu özellik gruplarında L1'in rastgele birini seçme sorununu hafifletir.
from sklearn.linear_model import Lasso, Ridge, ElasticNet
Lasso(alpha=0.1); Ridge(alpha=1.0); ElasticNet(alpha=0.1, l1_ratio=0.5)Derin öğrenmede L2'nin karşılığı genelde weight decay'dir. Adam ile birlikte ikisi aynı şey değildir, bu yüzden AdamW kullanılır.
İlgili Makine Öğrenmesi soruları
- Hiperparametre optimizasyonunu nasıl yaparsınız? Grid search, random search ve Bayesian optimization'ı karşılaştırın.
- Feature scaling nedir? Standardization ile normalization arasındaki fark nedir ve hangi modeller ölçeklendirme gerektirir?
- PCA (Principal Component Analysis) nasıl çalışır? Ne zaman kullanılır, ne zaman kullanılmamalıdır?
- NumPy kullanarak k-means algoritmasını sıfırdan yazın. k değerini nasıl seçersiniz ve algoritmanın sınırlamaları nelerdir?
- XGBoost ve LightGBM klasik gradient boosting'den hangi açılardan farklıdır? En önemli hiperparametreleri nelerdir?
- Random Forest ile Gradient Boosting arasındaki fark nedir? Bagging ve boosting'i karşılaştırın.
Bu konuda başka bir soru biliyor musun?
Mülakatta karşılaştığın soruları ekle, onaylandıktan sonra yayına alınsın.