ML sistemleri için CI/CD nasıl kurulur? Klasik yazılım CI/CD'sinden farkı nedir?

ML'de değişen sadece kod değildir. Veri ve model de değişir. Bu yüzden klasik CI/CD'ye ek olarak veri doğrulama, model doğrulama ve sürekli eğitim (continuous training, CT) eklenir.

Klasik yazılımdan farkları

Tipik pipeline

1. CI (her commit/PR): Lint, unit testler (feature fonksiyonları, preprocessing), küçük bir veri örneğiyle hızlı eğitim (smoke test), şema kontrolleri.
2. Veri doğrulama: Şema, null oranları, değer aralıkları, dağılım kontrolleri (Great Expectations, Pandera).
3. Eğitim pipeline'ı: Zamanlanmış veya yeni veri/drift ile tetiklenen orkestre edilmiş adımlar (Airflow, Kubeflow, Vertex/SageMaker Pipelines).
4. Model doğrulama (quality gate): Yeni model, holdout setinde mevcut production modelinden kötü değilse, kritik segmentlerde gerileme yoksa ve latency bütçesini karşılıyorsa registry'ye aday olarak kaydedilir.
5. CD: Container build, staging, shadow/canary, ardından production.
6. Monitoring: Drift ve performans izleme. Gerekirse yeniden eğitim tetiklenir.

# .github/workflows/ml.yml (özet)
on: [pull_request]
jobs:
  test:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - run: pip install -r requirements.txt
      - run: pytest tests/                       # feature ve preprocessing testleri
      - run: python validate_data.py --sample    # şema ve dağılım kontrolleri
      - run: python train.py --config configs/smoke.yaml
      - run: python evaluate.py --min-pr-auc 0.60 --compare-to production

ML'e özgü test örnekleri

• Preprocessing'in train ve serving'de aynı çıktıyı verdiğini doğrulayan testler (skew testi).
• Invariance testleri: İsim değişince duygu analizi sonucunun değişmemesi.
• Directional testler: Fiyat artınca talep tahmininin artmaması.
• Model, sabit bir "golden" örnek seti üzerinde beklenen çıktıları vermeli.
• LLM uygulamalarında: prompt değişikliklerinde eval setinin otomatik koşulması.