Yeni bir modeli production'a güvenli şekilde nasıl çıkarırsınız? Shadow deployment, canary ve A/B testi karşılaştırın.

Offline metriklerde daha iyi olan bir model production'da her zaman daha iyi değildir: veri farkları, gecikme, kullanıcı davranışı ve geri besleme döngüleri devreye girer. Bu yüzden yeni model aşamalı ve ölçülerek yayına alınır.

Aşamalar

1. Offline değerlendirme: Holdout set, segment bazlı analiz (yeni kullanıcılar, küçük şehirler), fairness kontrolleri, gecikme ve bellek testleri.
2. Shadow deployment: Yeni model gerçek trafiği alır ve tahmin üretir, ama sonuçları kullanıcıya gösterilmez. Sadece loglanır ve mevcut modelle karşılaştırılır. Kullanıcı riski yoktur. Hatalar, gecikme ve tahmin dağılımı farkları burada yakalanır. Ancak kullanıcının modele tepkisi ölçülemez.
3. Canary release: Trafiğin küçük bir kısmı (%1–5) yeni modele yönlendirilir. Teknik metrikler (hata oranı, latency) ve temel iş metrikleri izlenir, sorun yoksa kademeli artırılır. Amaç güvenli yayındır, istatistiksel karşılaştırma değildir.
4. A/B testi: Kullanıcılar rastgele iki gruba ayrılır ve önceden belirlenmiş bir iş metriği (dönüşüm, tıklama, gelir) istatistiksel olarak karşılaştırılır. Amaç nedensel etkiyi ölçmektir.

A/B testinde dikkat edilecekler

• Metrik, örneklem büyüklüğü (power analysis) ve test süresi önceden belirlenmeli.
• Randomizasyon kullanıcı bazlı olmalı, istek bazlı değil (aynı kullanıcı iki modeli görmesin).
• Erken bakıp "anlamlı oldu" diye durdurmak (peeking) false positive oranını şişirir. Sequential test yöntemleri kullanılabilir.
• Guardrail metrikleri: Ana metrik artarken gecikme, şikayet, iptal oranı bozulmamalı.
• Novelty etkisi ve haftalık döngüler için en az 1–2 tam hafta.

Rollback

Her aşamada tek adımla eski modele dönülebilmeli (model registry alias'ı veya feature flag). Otomatik rollback tetikleyicileri (hata oranı, latency eşikleri) tanımlanmalıdır.