Hipotez testi ve p-value nedir? p-value'nun en yaygın yanlış yorumları nelerdir?

Hipotez testi, gözlenen bir etkinin şansla açıklanıp açıklanamayacağını değerlendiren bir çerçevedir.

1. Sıfır hipotezi (H0): Etki yok. Örnek: yeni model dönüşüm oranını değiştirmiyor.
2. Alternatif hipotez (H1): Etki var.
3. Önceden bir anlamlılık düzeyi seçilir (α, genelde 0.05).
4. Veriden bir test istatistiği hesaplanır (t, z, chi-square).
5. p-value: H0 doğru olsaydı, gözlenen kadar veya daha uç bir sonucu görme olasılığı.
6. p < α ise H0 reddedilir.

Hata türleri

Yaygın yanlış yorumlar

• "p = 0.03, yani H0'ın doğru olma olasılığı %3." Yanlış. p-value H0'ın olasılığı değil, H0 varsayımı altında verinin olasılığıdır.
• "p < 0.05, demek ki etki büyük ve önemli." Yanlış. Çok büyük örneklemde önemsiz küçüklükteki bir fark da anlamlı çıkar. Etki büyüklüğüne ve güven aralığına bakılmalıdır.
• "p > 0.05, demek ki etki yok." Yanlış. Sadece kanıt yetersizdir. Örneklem küçük, power düşük olabilir.
• Multiple testing: 20 metriği test ederseniz şans eseri birinin anlamlı çıkması beklenir. Bonferroni veya Benjamini-Hochberg (FDR) düzeltmesi gerekir.
• Peeking: A/B testine her gün bakıp anlamlı olunca durdurmak Tip I hata oranını şişirir.

from scipy import stats
from statsmodels.stats.proportion import proportions_ztest

# A: 480/10000 dönüşüm, B: 540/10000 dönüşüm
z, p = proportions_ztest(count=[540, 480], nobs=[10000, 10000])
print(round(p, 3))   # yaklaşık 0.054: 0.05 eşiğinde anlamlı değil

ML bağlamında hipotez testleri A/B testlerinde ve iki modelin performans farkının şans eseri olup olmadığını değerlendirmede (örneğin bootstrap güven aralıkları, McNemar testi) kullanılır.