«model-evaluation» etiketlenmiş sorular

Bu, dolaylı olarak burada defalarca sorulan genel bir sorudur, ancak tek bir yetkili cevaptan yoksundur. Referans için bu konuda ayrıntılı bir cevap almak çok iyi olurdu. Tüm sınıflandırmalar arasında doğru sınıflandırmaların oranı olan doğruluk , çok basit ve “sezgisel” bir önlemdir, ancak dengesiz veriler için zayıf bir ölçü olabilir . …

107 machine-learning  classification  accuracy  model-evaluation  scoring-rules 

Bunu daha önce StackOverflow'ta sormuştum, ancak SO'da yanıt alamadığı için burada daha uygun olabilir gibi görünüyor. İstatistik ve programlama arasındaki kesişme noktasında. PCA (Asıl Bileşen Analizi) yapmak için bazı kodlar yazmam gerekiyor. Ben tanınmış algoritmalar aracılığıyla göz ve uyguladık bu bir bildiğim kadarıyla söyleyebilirim NIPALS algoritması eşdeğerdir. İlk 2-3 ana …

54 pca  algorithms  model-evaluation  high-dimensional 

ALGLIB, Gofretler ve benzeri bazı R paketleri gibi birkaç rastgele ormanın uygulaması olduğunu fark ettim randomForest. Biri bana bu kütüphanelerin yüksek düzeyde optimize edilmiş olup olmadığını söyleyebilir mi? Temel olarak İstatiksel Öğrenim Öğeleri'nde ayrıntılandırıldığı gibi rastgele ormanlara eşdeğer mi veya çok fazla ilave numara eklenmiş mi? Umarım bu soru yeterince …

44 random-forest  algorithms  model-evaluation 

Küme analizi ile ilgili en büyük sorunlardan biri, kullanılan farklı kümeleme yöntemlerine (hiyerarşik kümelemede farklı bağlantı yöntemleri dahil) dayandığında farklı sonuçlar çıkarmamız gerektiğidir . Bu konudaki fikrinizi bilmek istiyorum - hangi yöntemi seçeceksiniz ve nasıl. Biri “en iyi kümeleme yöntemi, size doğru cevabı verendir”; ancak küme analizinin denetimsiz bir teknik …

35 clustering  validation  model-evaluation  hierarchical-clustering 

Son zamanlarda , belirli bir veri setinde bir k-NN sınıflandırıcısının kullanılmasını öneren bir makale ile karşılaştım . Yazarlar, farklı k değerleri için k-kat çapraz doğrulama yapmak ve mevcut en iyi hiperparametre konfigürasyonunun çapraz doğrulama sonuçlarını bildirmek için mevcut tüm veri örneklerini kullandı . Bildiğim kadarıyla, bu sonuç önyargılı ve hiperparametre …

30 cross-validation  references  model-selection  model-evaluation 

Hepimizin bildiği gibi, lojistik regresyon modelini değerlendirmek için 2 yöntem var ve çok farklı şeyler test ediyorlar. Öngörü gücü: Bağımsız değişkenleri temel alarak bağımlı değişkeni ne kadar iyi tahmin edebileceğinizi ölçen bir istatistik edinin. Tanınmış Sahte R ^ 2, McFadden (1974) ve Cox ve Snell'dir (1989). Uygunluk istatistikleri Test, modeli …

24 r  logistic  goodness-of-fit  regression-strategies  model-evaluation 

Dolandırıcılık tespiti (kredi puanlama benzeri) sorunu ile ilgileniyorum. Dolayısıyla, hileli ve hileli olmayan gözlemler arasında oldukça dengesiz bir ilişki vardır. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html , farklı sınıflandırma ölçümlerine harika bir genel bakış sağlar. Precision and Recallya da kappaher ikisi de iyi bir seçim gibi görünüyor: Bu tür sınıflandırıcıların sonuçlarını haklı göstermenin bir yolu, …

22 classification  unbalanced-classes  precision-recall  cohens-kappa  model-evaluation 

AUC-ROC değerleri 0-0.5 arasında olabilir mi? Model hiç 0 ile 0,5 arasında değer verir mi?

16 roc  model-evaluation  auc 

Kaggle'ın yarışması Porto Seguro'nun Güvenli Sürücü Tahmini , değerlendirme metriği olarak Normalize Gini Puanını kullanıyor ve bu da bu seçimin nedenlerini merak ediyordu. Değerlendirme için AUC gibi en alışılmış metrikler yerine normalleştirilmiş gini skoru kullanmanın avantajları nelerdir?

14 classification  auc  model-evaluation  gini 

İki veya daha fazla sınıflandırma modelini karşılaştırmak için kullanılan yaygın bir önlem, ROC eğrisi (AUC) altındaki alanı, performanslarını dolaylı olarak değerlendirmenin bir yolu olarak kullanmaktır. Bu durumda, daha büyük bir AUC'ye sahip bir model genellikle daha küçük bir AUC'ye sahip bir modelden daha iyi performans olarak yorumlanır. Ancak, Vihinen, 2012'ye …

13 machine-learning  classification  roc  auc  model-evaluation 

Phi ve Matthews korelasyon katsayıları aynı kavram mıdır? İki ikili değişken için Pearson korelasyon katsayısı ile nasıl ilişkili veya eşdeğerdir? İkili değerlerin 0 ve 1 olduğunu varsayıyorum. Pearson'un iki Bernoulli rasgele değişkeni ve y arasındaki korelasyonu :xxxyyy ρ = E [ ( x - E [ x ] ) ( …

13 correlation  contingency-tables  bernoulli-distribution  model-evaluation  confusion-matrix 

Sınıfta veri madenciliğine maruz kalmamda, tutma yöntemi model performansını değerlendirmenin bir yolu olarak tanıtıldı. Ancak, birinci sınıfımı doğrusal modeller üzerine aldığımda, bu model onaylama veya değerlendirme aracı olarak tanıtılmadı. Çevrimiçi araştırmam da herhangi bir kavşak göstermiyor. Muhafaza yöntemi klasik istatistiklerde neden kullanılmıyor?

12 regression  validation  model-evaluation  out-of-sample 

Balıkçı testini daha iyi anlamak istedim, bu yüzden f ve m erkek ve kadına karşılık gelen ve n ve y "soda tüketimine" karşılık gelen aşağıdaki oyuncak örneğini tasarladım: > soda_gender f m n 0 5 y 5 0 Açıkçası, bu büyük bir basitleştirme, ama bağlamın önüne geçmesini istemedim. Burada sadece …

12 fishers-exact  hypergeometric  clustering  supervised-learning  modeling  econometrics  r  regression  residuals  heteroscedasticity  independence  distributions  self-study  matlab  libsvm  self-study  conditional-probability  conditional-expectation  hypothesis-testing  self-study  multiple-comparisons  mode  statistical-significance  chi-squared  multiple-comparisons  maximum-likelihood  poisson-process  optimization  uncertainty  genetic-algorithms  bayesian  model-selection  overfitting  maximum-likelihood  optimization  approximation  r  prediction  model-evaluation  r  machine-learning  survival  neural-networks  cox-model  machine-learning  bayesian  bayesian-network  hierarchical-bayesian  pooling 

Python scikit-learn kılavuzundaki regresyon metriklerini okuyordum ve her birinin kendi formülü olmasına rağmen, ve varyans skoru arasındaki farkın ne olduğunu ve bu nedenle değerlendirmek için ne zaman veya daha fazla kullanıldığını sezgisel olarak anlayamıyorum. benim modellerim.R,2R,2R^2

12 regression  variance  scikit-learn  r-squared  model-evaluation 

Bu F beta puanı: Fβ= ( 1 + β2) ⋅ s r e c ı s ı o , n ⋅ r e c a l l( β2⋅ p r e c i s i o n ) + r e c a l lFβ=(1+β2)⋅precision⋅recall(β2⋅precision)+recallF_\beta = (1 + \beta^2) \cdot …

10 machine-learning  precision-recall  model-evaluation