Vanishing ve exploding gradient problemi nedir? Nasıl çözülür?

Derin ağlarda backpropagation sırasında gradyanlar katman katman çarpılarak geriye taşınır. Bu çarpanlar sürekli 1'den küçükse gradyan üstel olarak küçülür (vanishing), ilk katmanlar neredeyse hiç öğrenmez. 1'den büyükse üstel olarak büyür (exploding), loss NaN olur veya eğitim patlar.

Sebepleri

• Sigmoid/tanh gibi doyan aktivasyonlar: sigmoid türevi en fazla 0.25'tir.
• Kötü ağırlık başlatma (çok küçük veya çok büyük ağırlıklar).
• Çok derin ağlar ve uzun dizilerde RNN'ler (aynı ağırlık matrisi tekrar tekrar çarpılır).

Çözümler

1. ReLU ailesi aktivasyonlar: Pozitif bölgede türev 1'dir.
2. Doğru başlatma: ReLU için He (Kaiming), tanh/sigmoid için Xavier (Glorot). Amaç katmanlar arası varyansı korumak.
3. Residual connection (ResNet, transformer): y = x + F(x). Gradyan için doğrudan bir "otoyol" sağlar.
4. Normalization: BatchNorm, LayerNorm aktivasyon dağılımlarını stabilize eder.
5. Gradient clipping: Özellikle exploding için. Transformer ve RNN eğitiminde standarttır.
6. LSTM/GRU: Gate mekanizmaları sayesinde RNN'deki vanishing problemini hafifletir.
7. Uygun learning rate ve warmup.

loss.backward()
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)
optimizer.step()

Nasıl teşhis edilir?

• Katman bazlı gradyan normlarını loglamak (TensorBoard, W&B).
• Loss'un aniden NaN/inf olması exploding'e işaret eder.
• İlk katman ağırlıklarının hiç değişmemesi vanishing'e işaret eder.