OrtaMakine ÖğrenmesiYapay Zeka

ROC-AUC ile PR-AUC arasındaki fark nedir? Dengesiz veri setinde hangisine bakarsınız?

Cevap

İkisi de modelin tüm eşik değerlerindeki performansını tek bir sayıda özetler, ama farklı eksenler kullanır.

  • ROC eğrisi: x = False Positive Rate (FP / (FP+TN)), y = True Positive Rate (recall). ROC-AUC, rastgele seçilen bir pozitif örneğin rastgele bir negatif örnekten daha yüksek skor alma olasılığıdır. 0.5 rastgele tahmin demektir.
  • PR eğrisi: x = recall, y = precision. Rastgele modelin baz çizgisi pozitif sınıf oranıdır (örneğin %1).

Dengesiz veride neden PR-AUC?

FPR'nin paydasında TN vardır. Negatif sınıf çok büyükse (örneğin 1.000.000 negatif, 1.000 pozitif), 10.000 yanlış alarm bile FPR'yi sadece %1 yapar. ROC-AUC 0.98 görünürken, precision aslında %9 olabilir. PR eğrisi TN'yi hiç kullanmadığı için bu durumu açıkça gösterir.

MetrikDengeli veriAğır dengesiz veri
ROC-AUCİyi, sınıf oranından bağımsızİyimser görünebilir
PR-AUC (Average Precision)KullanılabilirPozitif sınıfa odaklı, daha bilgilendirici
from sklearn.metrics import roc_auc_score, average_precision_score
roc_auc_score(y_true, scores)
average_precision_score(y_true, scores)  # PR-AUC

Not: AUC metrikleri sıralama kalitesini ölçer, olasılıkların kalibrasyonunu ölçmez. Olasılıkları doğrudan kullanacaksanız (fiyatlama, risk) calibration curve ve Brier score'a da bakın.

DevMülakat editörleri ·

  1. Hiperparametre optimizasyonunu nasıl yaparsınız? Grid search, random search ve Bayesian optimization'ı karşılaştırın.OrtaMakine ÖğrenmesiYapay Zeka
  2. Feature scaling nedir? Standardization ile normalization arasındaki fark nedir ve hangi modeller ölçeklendirme gerektirir?KolayMakine ÖğrenmesiYapay Zeka
  3. PCA (Principal Component Analysis) nasıl çalışır? Ne zaman kullanılır, ne zaman kullanılmamalıdır?OrtaMakine ÖğrenmesiYapay Zeka
  4. NumPy kullanarak k-means algoritmasını sıfırdan yazın. k değerini nasıl seçersiniz ve algoritmanın sınırlamaları nelerdir?ZorMakine ÖğrenmesiYapay Zeka
  5. XGBoost ve LightGBM klasik gradient boosting'den hangi açılardan farklıdır? En önemli hiperparametreleri nelerdir?ZorMakine ÖğrenmesiYapay Zeka
  6. Random Forest ile Gradient Boosting arasındaki fark nedir? Bagging ve boosting'i karşılaştırın.OrtaMakine ÖğrenmesiYapay Zeka

Bu konuda başka bir soru biliyor musun?

Mülakatta karşılaştığın soruları ekle, onaylandıktan sonra yayına alınsın.

Soru ekle