Hiperparametre optimizasyonunu nasıl yaparsınız? Grid search, random search ve Bayesian optimization'ı karşılaştırın.

Hiperparametreler (learning rate, ağaç derinliği, regularization gücü) eğitimle öğrenilmez, dışarıdan seçilir. Seçim her zaman validation seti veya cross-validation üzerinde yapılır, test seti sadece en sonda bir kez kullanılır.

Random search'ün gridden iyi olmasının sebebi (Bergstra & Bengio, 2012): genelde sadece birkaç hiperparametre gerçekten önemlidir. Grid bu önemli boyutta az sayıda farklı değer dener, random search ise her denemede farklı bir değer dener.

import optuna
from sklearn.model_selection import cross_val_score
import lightgbm as lgb

def objective(trial):
    params = {
        "learning_rate": trial.suggest_float("learning_rate", 1e-3, 0.3, log=True),
        "num_leaves": trial.suggest_int("num_leaves", 16, 256, log=True),
        "min_child_samples": trial.suggest_int("min_child_samples", 5, 100),
        "subsample": trial.suggest_float("subsample", 0.5, 1.0),
    }
    return cross_val_score(lgb.LGBMClassifier(**params), X, y, cv=5,
                           scoring="average_precision").mean()

study = optuna.create_study(direction="maximize")
study.optimize(objective, n_trials=100)

Pratik ipuçları: learning rate ve regularization gibi parametreleri log ölçeğinde arayın, aramayı önce geniş sonra dar yapın, aynı validation setinde çok fazla deneme yapınca o sete overfit edilebileceğini unutmayın.