«auc» etiketlenmiş sorular

F1 skoru, hassasiyet ve hatırlamanın harmonik ortalamasıdır. Geri çağırmanın y ekseni gerçek pozitif orantır (aynı zamanda hatırlamadır). Öyleyse, bazen sınıflandırıcılar düşük hatırlama oranına ancak çok yüksek AUC değerine sahip olabilir, bunun anlamı nedir? AUC ve F1 skorları arasındaki farklar nelerdir?

14 machine-learning  precision-recall  auc  accuracy 

Kaggle'ın yarışması Porto Seguro'nun Güvenli Sürücü Tahmini , değerlendirme metriği olarak Normalize Gini Puanını kullanıyor ve bu da bu seçimin nedenlerini merak ediyordu. Değerlendirme için AUC gibi en alışılmış metrikler yerine normalleştirilmiş gini skoru kullanmanın avantajları nelerdir?

14 classification  auc  model-evaluation  gini 

100 vakadan oluşan bir test setim ve iki sınıflandırıcım var. Her iki sınıflandırıcı için tahminler ve ROC AUC, duyarlılık ve özgüllük hesapladım. Soru 1: Tüm puanlara (ROC AUC, duyarlılık, özgüllük) göre birinin diğerinden önemli ölçüde daha iyi olup olmadığını kontrol etmek için p-değerini nasıl hesaplayabilirim? Şimdi, 100 vakanın aynı test …

14 machine-learning  statistical-significance  roc  auc  sensitivity-specificity 

Neden ROC eğrisinin altındaki alan, bir sınıflandırıcının rasgele seçilen bir "pozitif" örneği (alınan tahminlerden) rastgele seçilen "pozitif" olandan (orijinal pozitif sınıftan) daha yüksek sıraya koyma olasılığıdır? Gerçek pozitif ve negatif sınıf dağılımlarının CDF'lerini ve PDF'lerini vererek integrali kullanarak bu ifadeyi matematiksel olarak nasıl kanıtlayabiliriz?

14 probability  roc  auc 

İkili sonuçlar y∈{0,1}ny∈{0,1}ny\in\{0,1\}^n ve bazı tahmin matrisi X∈Rn×pX∈Rn×pX\in\mathbb{R}^{n\times p} olan bir veri seti verildiğinde , standart lojistik regresyon modeli binom olasılığını en üst düzeye çıkaran βMLEβMLE\beta_{MLE} katsayılarını tahmin eder. XXX dolu olduğunda βMLEβMLE\beta_{MLE} benzersizdir; mükemmel bir ayrılma olmadığında, sonludur. Bu, maksimum olabilirlik modeli aynı zamanda ROC AUC (aka maksimize mu …

13 logistic  maximum-likelihood  auc 

İki veya daha fazla sınıflandırma modelini karşılaştırmak için kullanılan yaygın bir önlem, ROC eğrisi (AUC) altındaki alanı, performanslarını dolaylı olarak değerlendirmenin bir yolu olarak kullanmaktır. Bu durumda, daha büyük bir AUC'ye sahip bir model genellikle daha küçük bir AUC'ye sahip bir modelden daha iyi performans olarak yorumlanır. Ancak, Vihinen, 2012'ye …

13 machine-learning  classification  roc  auc  model-evaluation 

Rastgele Bir Orman'ın kalitesini, örneğin AUC kullanarak değerlendirdiğimizde, bu miktarları Torba Dışı Örnekler üzerinden veya bekletme çapraz doğrulama seti üzerinden hesaplamak daha uygun mudur? OOB Örnekleri üzerinden hesaplamanın daha kötümser bir değerlendirme verdiğini duydum, ama nedenini göremiyorum.

13 cross-validation  random-forest  auc 

Makine öğreniminde , bir sistemin iki kategori arasında ne kadar iyi ayrım yapabileceğini özetlemek için ROC eğrisinin altındaki alanı (genellikle AUC veya AUROC olarak kısaltılır ) kullanabiliriz. Sinyal algılama teorisinde genellikle (hassasiyet indeksi) benzer bir amaç için kullanılır. İkisi yakından bağlantılıdır ve bazı varsayımların karşılanması durumunda birbirlerine eşdeğer olduklarına inanıyorum …

13 machine-learning  roc  auc  signal-detection  d-prime 

Hacim benzerliği ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient ) ve doğruluk ( https://en.wikipedia.org/wiki/Accuracy_and_precision ) için Zar katsayısına rastlarım ). Bana öyle geliyor ki bu iki önlem aynı. Düşüncesi olan var mı?

13 descriptive-statistics  roc  accuracy  precision-recall  auc 

Modelimi taktım ve bunun iyi olup olmadığını anlamaya çalışıyorum. Değerlendirmek için önerilen metrikleri hesapladım ( / AUC / doğruluk / tahmin hatası / vb) ancak bunları nasıl yorumlayacağımı bilmiyorum. Kısacası, modelimin metriğe göre iyi olup olmadığını nasıl anlarım? BirR2R2R^2R2R2R^2 yeterli (örneğin) 0,6 beni çıkarımlar veya baz bilimsel / iş kararları …

12 goodness-of-fit  r-squared  accuracy  auc  diagnostic 

Sonuç olasılığının oldukça düşük olduğu bir ikili sınıflandırma görevi yapıyorum (yaklaşık% 3). AUC veya log-loss ile optimize olup olmadığına karar vermeye çalışıyorum. Anladığım kadarıyla, AUC, modelin sınıflar arasında ayrım yapma yeteneğini en üst düzeye çıkarırken, mantık gerçek ve tahmini olasılıklar arasındaki farklılığı cezalandırıyor. Benim görevimde hassas doğruluğu kalibre etmek son …

12 classification  binary-data  auc  log-loss 

Ben bir ikili sınıflandırma sorunu var ve ben üzerinde farklı sınıflandırıcılar denemek: sınıflandırıcılar karşılaştırmak istiyorum. hangisi daha iyi bir ölçü AUC veya doğruluktur? Ve neden? Raondom Forest: AUC: 0.828 Accuracy: 79.6667 % SVM: AUC: 0.542 Accuracy: 85.6667 %

11 machine-learning  classification  auc 

mgcvİçin paket Rtensör ürün etkileşimleri uydurma için iki işlevi vardır: te()ve ti(). İkisi arasındaki temel işbölümünü anlıyorum (doğrusal olmayan bir etkileşime uymak ve bu etkileşimi ana etkilere ve etkileşime ayırmak). Anlamadığım şey neden te(x1, x2)ve ti(x1) + ti(x2) + ti(x1, x2)(biraz) farklı sonuçlar üretebilir. MWE (uyarlanmıştır ?ti): require(mgcv) test1 <- …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Çok dengesiz bir veri setim olduğu için (% 9 olumlu sonuçlar), hassas hatırlama eğrisinin ROC eğrisinden daha uygun olduğuna karar verdim. PR eğrisi altındaki alanın benzer özet ölçüsünü aldım (eğer ilgileniyorsanız .49), ancak nasıl yorumlanacağından emin değilim. ROC için iyi bir AUC'nin .8 veya üstü olduğunu duydum, ancak genel hatırlatmalar, …

11 classification  precision-recall  auc 

Bu yazıyı bir makalede okudum ve AUC'nin başka hiçbir yerde bu şekilde tanımlandığını görmedim. Bu doğru mu? Bunu görmenin bir kanıtı veya basit bir yolu var mı? Şekil 2, alıcı-çalışma karakteristik eğrisinin (AUC) altındaki alan olarak ifade edilen, her bir sınıftan (örneğin, erkek ve kadın) rastgele seçilen iki kullanıcının doğru …

11 classification  roc  auc