«precision-recall» etiketlenmiş sorular

Aralarındaki biçimsel farklılıkları anlıyorum, bilmek istediğim biri ile diğerini kullanmanın daha uygun olduğu zaman. Belirli bir sınıflandırma / tespit sisteminin performansı hakkında her zaman tamamlayıcı bir içgörü sağlıyorlar mı? İkisinin de bir gazetede sunulması ne zaman mantıklıdır? sadece bir tane yerine? Bir sınıflandırma sistemi için hem ROC hem de hassas …

159 machine-learning  roc  precision-recall 

Çok sınıflı bir problem için kesinliği nasıl hesaplayabileceğimi ve bir karmaşa matrisi kullanarak nasıl hatırlayacağımı merak ediyorum. Spesifik olarak, bir gözlem ancak en olası sınıfa / etikete atanabilir. Hesaplamak istiyorum: Hassas = TP / (TP + FP) Hatırlama = TP / (TP + FN) Her sınıf için ve sonra mikro-ortalama …

92 machine-learning  classification  precision-recall  multi-class 

Çok sınıflı çok etiketli sınıflandırma, örneğin ikiden fazla etiketin olduğu ve her örneğin birden fazla etiketin bulunduğu sınıflandırma için hassasiyetin nasıl hesaplanacağını ve hatırlama önlemlerinin nasıl olacağını merak ediyorum.

72 machine-learning  classification  precision-recall  multi-class 

F-ölçüm değerleri arasındaki farkı nasıl yorumlayacağımı bilmek istiyorum. F-ölçüsünün hassasiyet ve geri çağırma arasında dengeli bir ortalama olduğunu biliyorum, ancak F-ölçülerindeki bir farkın pratik anlamını soruyorum. Örneğin, eğer bir C1 sınıflandırıcısı 0,4 kesinliği ve bir diğer 8 sınıflandırıcısı C2 0,8 kesinliğine sahipse, C2'nin C1 ile karşılaştırıldığında test örneklerinin çiftini doğru …

41 classification  precision-recall 

Birkaç belirleyiciye sahip olduğum (biri en bilgilendirici olan) bir sınıflandırma görevim var ve sınıflandırıcımı oluşturmak için MARS modelini kullanıyorum (herhangi bir basit modelle ilgileniyorum ve açıklama amacıyla glms kullanmak çok iyi). Şimdi eğitim verilerinde çok büyük bir sınıf dengesizliği var (her pozitif örnek için yaklaşık 2700 negatif örnek). Bilgi Edinme …

30 machine-learning  roc  precision-recall  unbalanced-classes  data-visualization 

Ben sklearn 's sklearn.metrics.classification_report belgelerine çektiğim bir örnek aşağıda. Anlamadığım şey, sınıfın yordayıcı etiket olduğuna inandığım her sınıf için neden f1 puan, kesinlik ve hatırlama değerleri olduğudur? F1 skorunun modelin genel doğruluğunu söylediğini sanıyordum. Ayrıca, destek sütunu bize ne anlatıyor? Bununla ilgili hiçbir bilgi bulamadım. print(classification_report(y_true, y_pred, target_names=target_names)) precision recall …

29 machine-learning  python  scikit-learn  precision-recall 

Ortalama Hassasiyet (AP), Hassas Geri Çağırma Eğrisi altındaki Alan mı (PR eğrisi AUC'si)? DÜZENLE: PR AUC ve AP'deki farklılıklar hakkında bazı yorumlar. AUC, hassasiyetin yamuk enterpolasyonuyla elde edilir. Alternatif ve genellikle neredeyse eşdeğer bir ölçü, info.ap olarak döndürülen Ortalama Kesinliktir (AP). Bu, yeni bir pozitif örnek her çağrıldığında elde edilen …

27 scikit-learn  precision-recall  auc  average-precision 

F1 skoru, Dice skoru ve IoU (sendika kesişme) arasındaki farklar konusunda kafam karıştı. Şimdiye dek F1 ve Dice'in aynı anlama geldiğini öğrendim (doğru?) Ve IoU'nun diğer ikisine çok benzer bir formülü var. F1 / Zar:2 TP2 TP+ FP+ FN-2TP2TP+FP+FN-\frac{2TP}{2TP+FP+FN} IoU / Jaccard: kırıkTPTP+ FP+ FN-TPTP+FP+FN-\frac{TP}{TP+FP+FN} F1'in gerçek-pozitifleri daha da arttırması …

24 terminology  accuracy  precision-recall 

Dolandırıcılık tespiti (kredi puanlama benzeri) sorunu ile ilgileniyorum. Dolayısıyla, hileli ve hileli olmayan gözlemler arasında oldukça dengesiz bir ilişki vardır. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html , farklı sınıflandırma ölçümlerine harika bir genel bakış sağlar. Precision and Recallya da kappaher ikisi de iyi bir seçim gibi görünüyor: Bu tür sınıflandırıcıların sonuçlarını haklı göstermenin bir yolu, …

22 classification  unbalanced-classes  precision-recall  cohens-kappa  model-evaluation 

Hassasiyet şu şekilde tanımlanır: p = true positives / (true positives + false positives) Gibi, bu doğru mu true positivesve false positiveshassas 1 yaklaşır yaklaşım 0? Hatırlama için aynı soru: r = true positives / (true positives + false negatives) Şu anda bu değerleri hesaplamam gereken bir istatistiksel test uyguluyorum …

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

Bu tartışmayı okumayı bitirdim . PR AUC'nin dengesiz veri kümesinde ROC AUC'den daha iyi olduğunu iddia ediyorlar. Örneğin, test veri kümesinde 10 örneğimiz var. 9 numune pozitif ve 1 negatiftir. Her şeyi olumlu tahmin eden korkunç bir modelimiz var. Böylece, TP = 9, FP = 1, TN = 0, FN …

18 machine-learning  model-selection  roc  unbalanced-classes  precision-recall 

Hangi performans ölçüsünün kullanılacağı, ROC eğrisinin altındaki alan (FPR'ın bir fonksiyonu olarak TPR) veya hassas hatırlama eğrisinin altındaki alan (hatırlama fonksiyonu olarak hassasiyet) hakkında bazı şüphelerim var. Verilerim dengesiz, yani negatif örneklerin sayısı pozitif örneklerden çok daha fazla. Ben weka çıktı tahmini kullanıyorum, bir örnek: inst#,actual,predicted,prediction 1,2:0,2:0,0.873 2,2:0,2:0,0.972 3,2:0,2:0,0.97 4,2:0,2:0,0.97 …

16 r  machine-learning  roc  precision-recall  auc 

Birisi benim için olası örneklerle özetleyebilir mi, hangi durumlarda eğitim verilerinin arttırılması genel sistemi iyileştirir? Daha fazla eğitim verisi eklemenin, muhtemelen verilerin üzerine sığabileceğini ve test verileri üzerinde iyi doğruluk sağlayamayacağını ne zaman tespit ederiz? Bu çok spesifik olmayan bir sorudur, ancak belirli bir duruma özgü olarak cevaplamak istiyorsanız, lütfen …

16 machine-learning  classification  dataset  precision-recall 

Hassasiyet şu şekilde tanımlanır: p = gerçek pozitifler / (gerçek pozitifler + yanlış pozitifler) (Doğru pozitif + yanlış pozitif) = 0 ise hassasiyetin değeri nedir? Sadece tanımsız mı? Hatırlama için aynı soru: r = gerçek pozitifler / (gerçek pozitifler + yanlış negatifler) Bu durumda, (gerçek pozitifler + yanlış negatifler) = …

16 precision-recall 

Gradyan arttırıcı makine algoritmasını caretR'deki paket üzerinden deniyorum. Küçük bir kolej veri kümesi kullanarak, aşağıdaki kodu koştu: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting machine algorithm. ### set.seed(123) fitControl <- trainControl(method = …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable