«missing-data» etiketlenmiş sorular

Çok büyük bir veri setim var ve yaklaşık% 5 rasgele değerler eksik. Bu değişkenler birbiriyle ilişkilidir. Aşağıdaki örnek R veri kümesi sadece yapay korelasyonlu verilere sahip bir oyuncak örneğidir. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- paste ("M", 1:10000, …

12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 

Bazı eksik gözlemleri olan bir dizi iklim verisinde anormal değerleri tespit etmeye çalışıyorum. İnternette arama yaparken birçok mevcut yaklaşım buldum. Bunlardan stl ayrışması, eğilim ve mevsimsel bileşenleri ortadan kaldırmak ve geri kalanını incelemek anlamında çekici görünüyor. STL Okuma : Loess'e Dayalı Mevsimsel Trend Ayrıştırma Prosedürü , stldeğişkenlik atama ayarlarını belirleme …

12 r  time-series  outliers  missing-data 

Verilerimde% 80 eksik verinin bulunduğu bir değişken var. Veriler, var olmama durumu nedeniyle eksiktir (örneğin, şirketin ne kadar banka borcuna sahip olduğu). Bu soruna çözüm olarak kukla değişken ayarlama yönteminin olduğunu söyleyen bir makaleye rastladım. Bu sürekli değişkeni kategorik biçime dönüştürmem gerektiği anlamına mı geliyor? Tek çözüm bu mu? Teorik …

12 missing-data 

Sorum, sınıflandırıcı / model eğitimi / uydurma sırasında eksik verilerle başa çıkmak için tekniklere yöneliyor. Örneğin, birkaç yüz satırlı bir veri kümesinde, her satırın diyelim ki beş boyut ve son öğe olarak bir sınıf etiketi vardır, çoğu veri noktası şöyle görünür: [0.74, 0.39, 0.14, 0.33, 0.34, 0] Bazıları şöyle görünebilir: …

12 missing-data 

Ben 2500 değişken ve 142 gözlem gibi büyük veri seti var. Değişken X ve diğer değişkenler arasında bir korelasyon çalıştırmak istiyorum. Ancak birçok sütun için eksik girişler var. Bunu "çift-tamamlanmış" argüman ( use=pairwise.complete.obs) kullanarak R'de yapmaya çalıştım ve bir sürü korelasyon çıktı. Ancak daha sonra StackOverflow'daki birisi bu makaleye bir …

12 r  correlation  missing-data  correlation-matrix 

Son zamanlarda XGBoost algoritmasını gözden geçirdim ve bu algoritmanın eğitim aşamasında eksik verileri (çarpışma gerektirmeden) işleyebildiğini fark ettim. XGboost'un yeni gözlemleri tahmin etmek için kullanıldığında (eksik veri gerektirmeden) eksik veriyi işleyip işleyemeyeceğini veya eksik verileri etkilemek için gerekli olup olmadığını merak ediyordum. Şimdiden teşekkürler.

12 machine-learning  missing-data  data-imputation  xgboost 

GWAS'ta kement regresyonu için "glmnet" kullanıyorum. Bazı varyantlar ve bireyler eksik değerlere sahiptir ve glmnet'in eksik değerleri işleyemediği görülmektedir. Bunun için herhangi bir çözüm var mı? veya kement regresyonunda eksik değerleri işleyebilecek başka bir paket var mı? İşte senaryolarım. > library(glmnet) > geno6<-read.table("c6sigCnt.geno") > geno6[1:10,1:10] #genotype file (0,1,2 for minor …

12 missing-data  lasso  glmnet 

Bir tahmin yöntemi denedim ve yöntemimin doğru olup olmadığını kontrol etmek istiyorum. Çalışmam farklı yatırım fonlarını karşılaştırıyor. GCC endeksini bunlardan biri için bir referans olarak kullanmak istiyorum, ancak sorun GCC endeksinin Eylül 2011'de durması ve çalışmamın Ocak 2003'ten Temmuz 2014'e kadar olması. ancak sorun, MSCI endeksinin Eylül 2010'dan itibaren veri …

12 time-series  forecasting  missing-data 

Gerçekten herhangi bir iyi metin veya herhangi bir sınıflandırıcı girişleri için 'varolmayan' veri işleme nasıl örnekleri bulamadım. Eksik veriler hakkında çok şey okudum, ancak çok değişkenli girdilere göre var olmayan veya var olmayan veriler hakkında neler yapılabilir. Bunun çok karmaşık bir soru olduğunu ve kullanılan eğitim yöntemlerine bağlı olarak değişeceğini …

11 missing-data 

Aşağıdaki sorun var: - Biz N kişi set - Biz K görüntü set var - Her kişi bir kaç görüntü derecelendirir. Bir kişi bir görüntüyü beğenebilir veya beğenmeyebilir (bunlar sadece iki olasılıktır). - Sorun, bazı kişilerin belirli bir görüntüyü sevme olasılığının nasıl hesaplanacağıdır. Sezgilerimi gösteren bir örnek vereceğim. N = …

11 missing-data  rating 

mgcvİçin paket Rtensör ürün etkileşimleri uydurma için iki işlevi vardır: te()ve ti(). İkisi arasındaki temel işbölümünü anlıyorum (doğrusal olmayan bir etkileşime uymak ve bu etkileşimi ana etkilere ve etkileşime ayırmak). Anlamadığım şey neden te(x1, x2)ve ti(x1) + ti(x2) + ti(x1, x2)(biraz) farklı sonuçlar üretebilir. MWE (uyarlanmıştır ?ti): require(mgcv) test1 <- …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Hassasiyet temelli ağırlıklandırma meta analizin merkezinde midir? Borenstein ve diğ. (2009) meta-analizin mümkün olması için gerekli olan tek şey olduğunu yazınız: Çalışmalar, tek bir sayı olarak ifade edilebilecek bir nokta tahmini bildirmektedir. Bu nokta tahmini için varyans hesaplanabilir. (2) 'nin neden kesinlikle gerekli olduğu hemen belli değil. Ancak, aslında, geniş …

10 variance  sample-size  missing-data  meta-analysis 

Birisinin, eksik veri için neden gösterilmesinin, eksik veri içeren vakalar için farklı modeller oluşturmaktan daha iyi olup olmadığına dair bir fikir verebilir mi acaba? Özellikle [genelleştirilmiş] doğrusal modeller söz konusu olduğunda (belki doğrusal olmayan durumlarda bazı şeylerin farklı olduğunu görebilirim) Temel doğrusal modele sahip olduğumuzu varsayalım: Y= β1X1+ β2X2+ β3X3+ …

10 regression  missing-data  data-imputation 

Formun bir GLMM var: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Kullandığımda , araç paketinden veya drop1(model, test="Chi")kullandığımdan farklı sonuçlar alıyorum . Bu son ikisi aynı cevapları verir.Anova(model, type="III")summary(model) Bir grup uydurma veri kullanarak, bu iki yöntemin normalde farklı olmadığını gördüm. Dengeli doğrusal …

10 r  anova  glmm  r  mixed-model  bootstrap  sample-size  cross-validation  roc  auc  sampling  stratification  random-allocation  logistic  stata  interpretation  proportion  r  regression  multiple-regression  linear-model  lm  r  cross-validation  cart  rpart  logistic  generalized-linear-model  econometrics  experiment-design  causality  instrumental-variables  random-allocation  predictive-models  data-mining  estimation  contingency-tables  epidemiology  standard-deviation  mean  ancova  psychology  statistical-significance  cross-validation  synthetic-data  poisson-distribution  negative-binomial  bioinformatics  sequence-analysis  distributions  binomial  classification  k-means  distance  unsupervised-learning  euclidean  correlation  chi-squared  spearman-rho  forecasting  excel  exponential-smoothing  binomial  sample-size  r  change-point  wilcoxon-signed-rank  ranks  clustering  matlab  covariance  covariance-matrix  normal-distribution  simulation  random-generation  bivariate  standardization  confounding  z-statistic  forecasting  arima  minitab  poisson-distribution  negative-binomial  poisson-regression  overdispersion  probability  self-study  markov-process  estimation  maximum-likelihood  classification  pca  group-differences  chi-squared  survival  missing-data  contingency-tables  anova  proportion 

Gelman & Hill (2006) diyor ki: Bugs'ta, bir regresyondaki eksik sonuçlar sadece veri vektörü, NA'lar ve hepsi dahil edilerek kolayca ele alınabilir. Hatalar, sonuç değişkenini açıkça modellemektedir ve bu nedenle, bu modeli, her yinelemede eksik değerleri etkilemek için kullanmak önemsizdir. Bu, tahmin yapmak için JAGS kullanmanın kolay bir yolu gibi …

10 missing-data  bugs  jags