Data leakage nedir? Gerçek projelerden örnekler verin ve nasıl önlersiniz?

Data leakage, modelin eğitim sırasında prediction anında gerçekte erişemeyeceği bir bilgiye erişmesidir. Sonuç: offline metrikler mükemmel, production'da model çöker.

Yaygın türler ve örnekler

• Target leakage: Hedefin sonucu olan bir özellik. Örnek: kredi temerrüt modelinde "tahsilat departmanına aktarıldı mı" kolonu. Bu bilgi temerrütten sonra oluşur.
• Train-test contamination: Scaler'ı veya imputer'ı tüm veriye fit etmek, sonra split yapmak. Test istatistikleri train'e sızar.
• Zamansal leakage: Rastgele split ile geleceği görmek. Ya da "son 30 günün ortalaması" özelliğini prediction tarihinden sonraki verilerle hesaplamak.
• Duplicate / grup leakage: Aynı hastanın görüntüleri hem train'de hem test'te.
• Preprocessing leakage: Oversampling (SMOTE) işlemini split'ten önce yapmak.

Önleme

1. Önce split, sonra her şey. Tüm dönüşümleri Pipeline içine koy.
2. Her özellik için "bu değer prediction anında biliniyor mu?" sorusunu sor (point-in-time correctness).
3. Zamana bağlı verilerde zaman bazlı split kullan.
4. Şüpheli derecede yüksek feature importance'a sahip özellikleri incele.
5. Feature store'larda point-in-time join kullan.

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import cross_val_score

pipe = Pipeline([("scale", StandardScaler()), ("clf", LogisticRegression())])
cross_val_score(pipe, X, y, cv=5)  # scaler her fold'da yalnızca train'e fit edilir