Batch Normalization ile Layer Normalization arasındaki fark nedir? Transformer'larda neden LayerNorm kullanılır?

İkisi de aktivasyonları sıfır ortalama ve birim varyansa normalize edip öğrenilebilir γ (scale) ve β (shift) parametreleriyle yeniden ölçekler. Fark, hangi eksen üzerinde istatistik hesaplandığıdır.

Transformer'da neden LayerNorm?

• NLP'de diziler farklı uzunluktadır ve padding içerir. Batch istatistikleri anlamsızlaşır.
• LLM eğitiminde GPU başına batch küçük olabilir, dağıtık eğitimde BatchNorm senkronizasyon gerektirir.
• Autoregressive inference'ta tek token işlenir, batch istatistiği yoktur.

Modern detaylar

• Pre-LN: Normalizasyon residual bloktan önce uygulanır (x + Attn(LN(x))). Orijinal Post-LN'e göre çok daha stabil eğitilir ve warmup'a daha az bağımlıdır. GPT-2 sonrası standarttır.
• RMSNorm: Ortalamayı çıkarmaz, sadece RMS'e böler. Daha ucuzdur, Llama, Mistral ve çoğu modern LLM kullanır.

import torch

def rms_norm(x, weight, eps=1e-6):
    return x * torch.rsqrt(x.pow(2).mean(-1, keepdim=True) + eps) * weight

Pratik tuzak: BatchNorm'lu bir modelde model.eval() çağırmayı unutmak, inference'ta batch istatistiklerinin kullanılmasına ve tutarsız sonuçlara yol açar.