İstatistikler ve Büyük Veri

P regresörleri, n gözlemleri için bir tasarım matrisim var ve parametrelerin örnek varyans-kovaryans matrisini hesaplamaya çalışıyorum. Doğrudan svd kullanarak hesaplamaya çalışıyorum. R kullanıyorum, tasarım matrisinin DVD'sini aldığımda üç bileşen alıyorum: bir matris UUU hangisi n×pn×pn \times p, bir matris DDD hangisi 1×31×31\times 3 (muhtemelen özdeğerler) ve bir matris VVV hangisi …

9 r  regression 

Zaman serisi verileri üzerinde araç testleri farkı için kullanılacak uygun havuzlama düzeyinde bazı rehberliğe ihtiyacım var. Bu uygulamada gergin görünen geçici ve fedakar yalancı çoğaltma konusunda endişeliyim. Bu, manipülatif bir deneyden ziyade bir manevi çalışmaya atıfta bulunur. Bir izleme egzersizi düşünün : Bir sensör sistemi, havuzun genişliği ve derinliği boyunca …

9 time-series 

İki değişkenim var ve aralarındaki Pearson korelasyonunu hesaplayabilirim, ancak t-testinin bana ne vereceğine benzer bir şey bilmek istiyorum (yani korelasyonun ne kadar önemli olduğuna dair bir fikir). Böyle bir şey var mı?

9 correlation  statistical-significance 

Benimle tanıştığınız için şimdiden teşekkür ederim, hiçbir istatistikçi değilim ve hayal ettiğimi nasıl tanımlayacağımı bilmiyorum, bu yüzden Google bana burada yardım etmiyor ... Üzerinde çalıştığım bir web uygulamasına derecelendirme sistemi ekliyorum. Her kullanıcı, her bir öğeyi tam olarak bir kez derecelendirebilir. 4 değeri olan bir ölçek hayal ediyordum: "kesinlikle beğenmeme", …

9 scales  rating 

Kapalı. Bu soru konu dışı . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Sorunuzu güncelleyin o yüzden -konu üzerinde Çapraz doğrulanmış için. 8 ay önce kapalı . Bu bir veri görselleştirme sorusudur. Sürekli revize (çevrimiçi güncelleme) bazı veriler içeren bir veritabanı var. R'de bir grafiği güncellemenin en …

9 r  data-visualization 

En az açı regresyonu (LAR) için bir problem çözmeye çalışıyorum. Bu sorunun 3,23 sayfada 97 arasında Hastie vd., İstatistiksel Öğrenme Unsurları, 2. ed. (5. baskı) . Tüm değişkenler ve cevap ortalama sıfır ve standart sapma bir olan bir regresyon problemi düşünün. Ayrıca her değişkenin yanıtla aynı mutlak korelasyona sahip olduğunu …

9 regression  machine-learning  correlation  self-study 

Elde edilmesi oldukça pahalı olan bir dizi biyolojik örneğimiz var. Bu örnekleri, öngörülü bir model oluşturmak için kullanılan verileri oluşturmak için bir dizi testten geçirdik. Bu amaçla örnekleri eğitim (% 70) ve test (% 30) setlerine ayırdık. Başarıyla bir model oluşturduk ve performansın "optimalden daha az" olduğunu keşfetmek için test …

9 classification  modeling  experiment-design  cross-validation  bootstrap 

R'de lojistik regresyona alternatifler hakkında yeni bir soru , randomForest, gbm, rpart, bayesglm ve genelleştirilmiş katkı modelleri de dahil olmak üzere çeşitli cevaplar verdi. Bu yöntemler ile lojistik regresyon arasındaki pratik ve yorum farklılıkları nelerdir? Lojistik regresyona göre ne gibi varsayımlar yapıyorlar (ya da yapmıyorlar)? Hipotez testi için uygun mu? …

9 r  hypothesis-testing  logistic  random-forest 

( Bu, Stack Overflow : Bell Curve Gaussian Algorithm (Python ve / veya C #) ile ilgili programlama sorumla ilgilidir .) Answers.com'da şu basit örneği buldum: Kümedeki tüm değerlerin toplamının, kümedeki öğelerin sayısına bölünmesiyle aritmetik ortalama (ortalama) => Kümedeki tüm değerlerin karelerinin toplamını bulun (2) 'nin çıktısını kümedeki elemanların sayısına …

9 algorithms  normal-distribution 

Şu anda bazı zaman serisi verileri üzerinde çalışıyorum, LOESS / ARIMA modelini kullanabileceğimi biliyorum. Veriler, uzunluğu 1000 olan, sıra olan ve her 15 dakikada bir güncellenen bir vektöre yazılır, Böylece, yeni veriler vektörü içeri aktarırken eski veriler ortaya çıkar. Tüm modeli bir zamanlayıcıda tekrar çalıştırabilirim, örneğin modeli her 15 dakikada …

9 time-series  model-evaluation 

Bir bilim insanına salmonella mikroplarının oluşumu için bir çalışma tasarlamasına yardımcı olmaya çalışıyorum. Kanatlı hayvan çiftliklerinde deneysel bir antimikrobiyal formülasyonu bir klora (ağartıcı) karşı karşılaştırmak istiyor. Salmonella'nın arka plan oranları zaman içinde farklılık gösterdiğinden, tedaviden önce ve tedaviden sonra kümes hayvanı w / salmonella yüzdesini ölçmeyi planlamaktadır. Bu nedenle ölçüm, …

9 sample-size  repeated-measures  proportion 

Tobit regresyon modeli hakkındaki (çok temel) bilgim bir sınıftan değil, tercih ettiğim gibi. Bunun yerine, birkaç İnternet araması yoluyla burada ve orada bilgiler topladım. Kesik gerileme için varsayımlara ilişkin en iyi tahminim, sıradan en küçük kareler (OLS) varsayımlarına çok benzer olmalarıdır. Yine de bunun doğru olup olmadığı hakkında hiçbir fikrim …

9 regression  assumptions 

Düzensiz aralıklı bir XTSzaman serisi ( POSIXctdeğerleri dizin türü olarak) var. Diyelim ki 10 dakikalık aralıklarla örneklenmiş yeni bir zaman serisini nasıl oluşturabilirim, ancak her örnek anı bir yuvarlak zamana hizalanmış olarak (13:00:00, 13:10:00, 13:20:00, ...) . Yeniden örnekleme anı tam olarak orijinal seri değerine düşmezse, bir öncekini almak istiyorum.

9 r  time-series  sampling  unevenly-spaced-time-series 

Bu yüzden, Hamming Distance kullanarak biyometrik özellikteki bir kişinin kimliğini doğrulamaya çalıştığım 16 denemem var. Eşik değer 3,5'e ayarlandı. Verilerim aşağıda ve yalnızca deneme 1 Gerçek Olumludur: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 7 0.47 8 0.32 9 0.39 10 0.45 …

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

İki değişkenli bir yoğunluktan simüle etmeye çalıştım p(x,y)p(x,y)p(x,y)Metropolis algoritmalarını R'de kullanıyor ve hiç şansı yoktu. Yoğunluk şu şekilde ifade edilebilir: p(y|x)p(x)p(y|x)p(x)p(y|x)p(x), nerede p(x)p(x)p(x) -Meddala dağılımı p(x)=aqxa−1ba(1+(xb)a)1+qp(x)=aqxa−1ba(1+(xb)a)1+qp(x)=\dfrac{aq x^{a-1}}{b^a (1 + (\frac{x}{b})^a)^{1+q}} parametrelerle aaa, qqq, bbb, ve p(y|x)p(y|x)p(y|x) log-normal ve log-mean xxxve log-sd bir sabit. Numunemin istediğim örnek olup olmadığını test etmek …

9 sampling  monte-carlo  metropolis-hastings