Batch gradient descent, stochastic gradient descent (SGD) ve mini-batch gradient descent arasındaki fark nedir?

Üçü de parametreleri w = w - lr · ∇L kuralıyla günceller. Fark, gradyanın kaç örnek üzerinden hesaplandığıdır.

Pratikte "SGD" denince neredeyse her zaman mini-batch kastedilir.

Learning rate ve batch size

• Learning rate çok büyükse loss sıçrar veya NaN olur. Çok küçükse eğitim çok yavaşlar.
• Batch size'ı büyütürken learning rate'i de genelde orantılı artırmak gerekir (linear scaling kuralı) ve warmup eklenir.
• Modern eğitimde sabit LR yerine warmup + cosine decay gibi schedule'lar standarttır.

import numpy as np

def minibatch_gd(X, y, lr=0.1, epochs=20, bs=64):
    w = np.zeros(X.shape[1])
    for _ in range(epochs):
        idx = np.random.permutation(len(X))
        for i in range(0, len(X), bs):
            b = idx[i:i + bs]
            grad = 2 * X[b].T @ (X[b] @ w - y[b]) / len(b)  # MSE gradyanı
            w -= lr * grad
    return w

Momentum, RMSProp ve Adam gibi optimizer'lar bu temel güncelleme kuralının üzerine kurulur.