«model-evaluation» etiketlenmiş sorular

Sıklıkla bir test modelini uzatarak ve eğitim setinde bir model eğiterek bir sınıflandırma modelinin performansını değerlendirmeyi duyarım. Daha sonra biri tahmin edilen değerler ve diğeri gerçek değerler için olmak üzere 2 vektör oluşturuldu. Açıkçası bir karşılaştırma yapmak, kişinin F-Skoru, Kappa İstatistiği, Hassasiyet ve Geri Çağırma, ROC eğrileri vb. Bu, regresyon …

10 regression  machine-learning  model-evaluation 

Bir veri kümesi üzerinde çalışıyorum. Bazı model tanımlama tekniklerini kullandıktan sonra bir ARIMA (0,2,1) modeliyle çıktım. Orijinal veri setimin 48. gözleminde yenilikçi bir aykırı değer (IO) tespit etmek için R'deki detectIOpaketteki işlevi kullandım .TSA Öngörme amacıyla kullanabilmem için bu aykırı değeri modelime nasıl dahil edebilirim? ARIMAX modelini kullanmak istemiyorum çünkü …

10 r  time-series  arima  outliers  hypergeometric  fishers-exact  r  time-series  intraclass-correlation  r  logistic  glmm  clogit  mixed-model  spss  repeated-measures  ancova  machine-learning  python  scikit-learn  distributions  data-transformation  stochastic-processes  web  standard-deviation  r  machine-learning  spatial  similarities  spatio-temporal  binomial  sparse  poisson-process  r  regression  nonparametric  r  regression  logistic  simulation  power-analysis  r  svm  random-forest  anova  repeated-measures  manova  regression  statistical-significance  cross-validation  group-differences  model-comparison  r  spatial  model-evaluation  parallel-computing  generalized-least-squares  r  stata  fitting  mixture  hypothesis-testing  categorical-data  hypothesis-testing  anova  statistical-significance  repeated-measures  likert  wilcoxon-mann-whitney  boxplot  statistical-significance  confidence-interval  forecasting  prediction-interval  regression  categorical-data  stata  least-squares  experiment-design  skewness  reliability  cronbachs-alpha  r  regression  splines  maximum-likelihood  modeling  likelihood-ratio  profile-likelihood  nested-models 

Zaman serisi tahmini üzerinde çalışıyorum. İki veri ve . Üç tahmin modelim var: . Bu modellerin tümü, veri kümesi örnekler kullanılarak eğitilir ve performansları, veri kümesi örnekler kullanılarak ölçülür . Performans metriklerinin MSE (veya başka bir şey) olduğunu varsayalım. Veri kümesi için ölçülen modellerin MSE olan ve . Bir modelin …

10 time-series  machine-learning  statistical-significance  classification  model-evaluation 

Temel olarak, büyük veri kümelerine karşı öğrenmenin iki yaygın yolu vardır (zaman / alan kısıtlamaları ile karşılaştığınızda): Hile :) - eğitim için sadece bir "yönetilebilir" alt kümesini kullanın. Doğruluk kaybı, azalan getiriler yasası nedeniyle ihmal edilebilir - modelin tahmini performansı, tüm eğitim verileri buna dahil edilmeden çok önce düzleşir. Paralel …

10 machine-learning  large-data  model-evaluation  train 

Gördüğüm her şeyden daha iyi olduğunu düşündüğüm bazı fikirlerimi test etmek istiyorum. Yanlış olabilirdim ama fikirlerimi test etmek ve şüphelerimi daha kesin gözlemlerle yok etmek istiyorum. Yapmayı düşündüğüm şey şudur: Bir dağılım kümesini analitik olarak tanımlar. Bunlardan bazıları Gauss, üniforma veya Tophat gibi kolay olanlar. Ancak bunların bazıları Simpsons dağılımı …

10 hypothesis-testing  estimation  pdf  kernel-smoothing  model-evaluation 

Birkaç geçici değişken üzerinde eğitilmiş bir Dinamik Naive Bayes Modelim var. Modelin çıktısı P(Event) @ t+1, her biri için tahmin edilen tahminidir t. Arsa P(Event)karşı timeolarak aşağıdaki şekilde verilmiştir. Bu şekilde, siyah çizgi temsil P(Event)benim model tarafından tahmin; kırmızı yatay çizgi olay meydana gelme olasılığını önce temsil eder; ve noktalı …

9 time-series  probability  prediction  model-comparison  model-evaluation 

Birden fazla sınıflandırıcı kullanarak sınıflandırma yaptığım 2 sınıf etiketli veri var. Ve veri kümeleri dengelidir. Sınıflandırıcıların performansını değerlendirirken, sınıflandırıcının sadece gerçek pozitifleri değil, aynı zamanda gerçek negatifleri de belirlemede ne kadar doğru olduğunu göz önünde bulundurmam gerekir. Bu nedenle, doğruluk kullanırsam ve sınıflandırıcı pozitiflere karşı önyargılıysa ve her şeyi pozitif …

9 classification  roc  model-evaluation  sensitivity-specificity 

Verilerimde, olarak belirtilen bir sınıf değişkenim var . Bu sınıf değişkeni değerleri (ikili) şeklindedir. neredeyse tüm gözlemleri 0'dır (% 100'e yakın, daha kesin olarak% 97). Farklı sınıflandırma modelleri üzerinde bir "performans" testi istiyorum (doğruluk olabilir). Olmaktan korktuğum, gözlemleri her zaman sınıf 0'da sınıflandıran bir sınıflandırma modelim varsa, o zaman bu …

9 classification  binary-data  model-evaluation 

Şu anda bazı zaman serisi verileri üzerinde çalışıyorum, LOESS / ARIMA modelini kullanabileceğimi biliyorum. Veriler, uzunluğu 1000 olan, sıra olan ve her 15 dakikada bir güncellenen bir vektöre yazılır, Böylece, yeni veriler vektörü içeri aktarırken eski veriler ortaya çıkar. Tüm modeli bir zamanlayıcıda tekrar çalıştırabilirim, örneğin modeli her 15 dakikada …

9 time-series  model-evaluation