İstatistikler ve Büyük Veri

Bir yan hobi olarak, zaman serilerini tahmin ediyorum (özellikle R kullanarak). Verilerim için, günde yaklaşık 4 yıl öncesine kadar her gün ziyaretim var. Bu verilerde bazı farklı modeller vardır: Pazartesi-Cum çok ziyaret (Pazartesi / Sal en yüksek), ancak Sat-Sun önemli ölçüde daha az ziyaret var. Yılın belirli zamanlarında düşüş (yani …

9 r  time-series  seasonality  forecasting 

Hiyerarşik doğrusal regresyon yapmak için standart algoritmalar (programların aksine) var mı? İnsanlar genellikle sadece MCMC yapıyor mu yoksa daha özel, belki de kısmen kapalı form algoritmaları var mı?

9 regression  bayesian  multiple-regression  multilevel-analysis  irls 

Diyelim ki bir sınıflandırma problemi için birkaç satırım var: X1, . . .XN-, YX1,...XN,YX_1, ... X_N, Y Nerede X1, . . . ,XN-X1,...,XNX_1, ..., X_N özellikler / öngörücüler ve YYY satırın özellik kombinasyonunun ait olduğu sınıftır. Birçok özellik kombinasyonu ve sınıfları bir sınıflandırıcı sığdırmak için kullandığım veri kümesinde tekrarlanır. Ben …

9 machine-learning  classification  data-mining  logistic  stratification 

Rastgele seçilmemiş numunenin neden olduğu Cox orantılı tehlike modelindeki sapmayı düzeltmek için herhangi bir yöntem var mı (Heckman'ın düzeltmesi gibi bir şey)? Arka plan : Durumun şöyle göründüğünü söyleyelim: - İlk iki yıl boyunca tüm müşteriler kabul edilir. - Bu iki yıldan sonra bir Cox PH modeli üretildi. Model, müşterilerin …

9 bias  cox-model 

Bir Maksimum Entropi Markov Modeli (MEMM) kavramı ile ilgileniyorum ve bunu Konuşma Parçası (POS) etiketleyici için kullanmayı düşünüyorum. Şu anda, her bir kelimeyi etiketlemek için geleneksel bir Maksimum Entropi (ME) sınıflandırıcısı kullanıyorum. Bu, önceki iki etiket de dahil olmak üzere bir dizi özellik kullanır. MEMM'ler, Viterbi algoritmasını Markov Zinciri boyunca …

9 machine-learning  mcmc  maximum-entropy  memm 

Bir zaman serisi ölçümlerim var (yükseklikler bir boyutlu seri). Gözlem döneminde, ölçüm süreci bazı zaman noktalarında azalmıştır. Sonuçta elde edilen veriler, verilerde boşlukların bulunduğu NaN'lere sahip bir vektördür. MATLAB kullanarak, otokorelasyon ( autocorr) hesaplanırken ve sinir ağları ( nnstart) uygulanırken bu bana bir soruna neden oluyor . Bu boşluklar / …

9 time-series  dataset  matlab  autocorrelation  missing-data 

Günlük dönüşümlerini almadan önce veya sonra iki rastgele değişken X ve Y için pearson korelasyonunun hesaplanıp hesaplanmayacağına dair genel bir prensip var mı? Hangisinin daha uygun olduğunu test etmek için bir prosedür var mı? Log dönüşümü doğrusal olmadığı için benzer fakat farklı değerler verirler. Günlükten sonra X veya Y'nin normale …

9 regression  correlation  logarithm  pearson-r 

Farklı dağılımları ve formları takip eden 2 boyutlu veri noktalarının veri setlerini arıyorum (her veri noktası iki değerin (x, y) bir vektörü). Bu tür verileri oluşturmak için kod da yardımcı olacaktır. Bazı kümeleme algoritmalarının nasıl çalıştığını çizmek / görselleştirmek için bunları kullanmak istiyorum. İşte bazı örnekler: bulut verisi gibi yıldız …

9 distributions  data-visualization  clustering  dataset 

Kapalı. Bu soru konu dışı . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Sorunuzu güncelleyin o yüzden -konu üzerinde Çapraz doğrulanmış için. 3 yıl önce kapalı . R kodumdan ve ggplot2 görselleştirmeden tekrarlayan raporlar oluşturmayı öğrenmekle çok ilgileniyorum. LaTeX'in olası bir cevap gibi göründüğünü ve en çok …

9 r 

Bir endeks fonunun zaman içindeki davranışını tahmin etmek için çoklu regresyonda kullanılabilecek birkaç yüz finansal değişkenin değerlerinden oluşan büyük bir veri setim var. Mümkün olduğu kadar tahmin gücünü korurken değişkenlerin sayısını on'a kadar azaltmak istiyorum. Eklendi: Orijinal değişkenlerin ekonomik anlamını korumak için azaltılmış değişken kümesinin orijinal değişkenin bir alt kümesi …

9 regression  multivariate-analysis  model-selection  multiple-regression 

R'de bir Parçacık Filtresi çalıştırmak için basit bir kod örneği arıyorum. Pompa paketi, durum uzay matematik bitini destekliyor gibi görünüyor, ancak örnekler, özellikle benim gibi basit bir OO geliştiricisi için programlı olarak takip etmek biraz zor gözlemlenen verilerin bir pompa nesnesine nasıl yükleneceği. Buradaki örnekler: http://cran.r-project.org/web/packages/pomp/vignettes/intro_to_pomp.pdf Diyelim ki girdi olarak …

9 r 

Binlerce puanlık sırada birkaç veri setim var. Her veri kümesindeki değerler, uzayda bir koordinat anlamına gelen X, Y, Z'dir. Z değeri, koordinat çiftindeki (x, y) yükseklik farkını temsil eder. Tipik olarak CBS alanımda, yer-doğruluk noktası bir ölçüm noktasına (LiDAR veri noktası) çıkarılarak RMSE'de yükseklik hatasına referans verilir. Genellikle en az …

9 normal-distribution  large-data 

BIC, parametre sayısına göre cezalandırır. Parametrelerin bazıları bir tür ikili gösterge değişkenleri ise ne olur? Bunlar tam parametre olarak sayılıyor mu? Ancak ikili parametrelerini değerlerini alan tek bir değişkende birleştirebilirim . Bunlar parametresi veya bir parametre olarak mı sayılmalıdır ?mmm{ 0 , 1 , . . . ,2m- 1 }{0,1,...,2m-1}\{0,1,...,2^m-1\}mmm

9 bayesian  model-selection  bic  parameterization 

Eş değişkenler olarak özne ve zaman içeren bir ikili yanıt değişkeni ile birden fazla zaman noktasındaki ölçümler arasındaki korelasyonu dikkate alan benzer GEE modeli arasındaki bir GLM modeli (lojistik regresyon) arasındaki fark nedir? GLM'im şöyle görünüyor: Y(binary) ~ A + B1X1(subject id) + B2X2(time) + B3X3(interesting continuous covariate) logit bağlantı …

9 generalized-linear-model  gee 

Kapalı. Bu soru konu dışı . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Sorunuzu güncelleyin o yüzden -konu üzerinde Çapraz doğrulanmış için. 9 ay önce kapalı . Bu soruda belirtilen sorun R paket glmnet 1.7.3 sürümünde giderilmiştir. Ben aile = multinomial ile glmnet çalışan bazı sorunlar yaşıyorum, …

9 r  multinomial  glmnet