Normal, binom ve Poisson dağılımlarını ne zaman kullanırsınız? Stratified sampling ve sampling bias nedir?
Cevap
Temel dağılımlar
| Dağılım | Neyi modeller | Parametreler | Örnek |
|---|---|---|---|
| Bernoulli | Tek bir evet/hayır denemesi | p | Bir kullanıcı tıkladı mı? |
| Binom | n bağımsız denemede başarı sayısı | n, p | 1.000 ziyaretçiden kaç dönüşüm |
| Poisson | Sabit zaman/alan aralığındaki olay sayısı | λ (ortalama = varyans) | Dakikadaki istek sayısı, saatlik hata |
| Normal (Gauss) | Simetrik, sürekli ölçümler; ortalamalar (CLT) | μ, σ | Ölçüm hataları, boy |
| Exponential | Olaylar arası bekleme süresi | λ | Sonraki isteğe kadar geçen süre |
| Log-normal | Pozitif, sağa çarpık değerler | μ, σ (log ölçeğinde) | Gelir, latency, dosya boyutu |
Pratik notlar:
- Latency gibi çarpık metriklerde ortalama yerine p50, p95, p99 gibi yüzdelikler raporlanır.
- Sayım verisinde varyans ortalamadan çok büyükse (overdispersion) Poisson yerine negatif binom kullanılır.
- Regresyonda hedefin dağılımı loss seçimini etkiler: sayım için Poisson loss, çarpık hedefte log dönüşümü.
Sampling (örnekleme)
- Basit rastgele örnekleme: Her birimin seçilme şansı eşit.
- Stratified sampling: Popülasyon katmanlara (sınıf, bölge, cihaz) ayrılır ve her katmandan oranına uygun (veya bilinçli olarak fazla) örnek alınır. Dengesiz sınıflarda train/test bölmesinde ve küçük segmentleri temsil etmekte kritiktir.
- Bootstrap: Veriden yerine koyarak tekrar tekrar örnekleme. Herhangi bir metrik için güven aralığı tahmini.
from sklearn.model_selection import train_test_split
X_tr, X_te, y_tr, y_te = train_test_split(X, y, test_size=0.2, stratify=y, random_state=42)Sampling bias
Örneğin popülasyonu temsil etmemesidir. Model eğitildiği veriyi genelleştirir, bu yüzden yanlı örneklem yanlı model üretir.
- Selection bias: Sadece kredisi onaylanan müşterilerin geri ödeme verisi vardır. Reddedilenlerin ne yapacağı bilinmez.
- Survivorship bias: Sadece hâlâ aktif olan kullanıcıları analiz etmek.
- Non-response bias: Ankete sadece memnun veya çok memnun olmayanların cevap vermesi.
- Zamansal bias: Sadece bayram dönemi verisiyle eğitilen talep modeli.
Çözüm yolları: veri toplama sürecini tasarlamak, ağırlıklandırma (inverse propensity weighting), küçük bir rastgele keşif trafiği ayırmak ve eğitim verisinin production dağılımıyla periyodik karşılaştırılması.
İlgili Veri & İstatistik soruları
- Korelasyon ve nedensellik (causation) arasındaki fark nedir? ML projelerinde bu neden önemlidir?
- Merkezi limit teoremi (Central Limit Theorem) nedir? Pratikte neden bu kadar önemlidir?
- Hipotez testi ve p-value nedir? p-value'nun en yaygın yanlış yorumları nelerdir?
- Bayes teoremi nedir? Nadir bir hastalık testi örneğiyle açıklayın.
Bu konuda başka bir soru biliyor musun?
Mülakatta karşılaştığın soruları ekle, onaylandıktan sonra yayına alınsın.