İstatistikler ve Büyük Veri

Tekrarlanan ölçüm verilerini analiz etmeye çalışıyorum ve çalışmasını sağlamak için mücadele ediyorum R. Verilerim aslında aşağıdaki, iki tedavi grubum var. Her gruptaki her denek her gün test edilir ve bir puan verilir (bir testte doğru yüzde). Veriler uzun biçimde: Time Percent Subject Group 1 0 GK11 Ethanol 2 0 GK11 …

12 r  mixed-model  repeated-measures  lme4-nlme 

Bir grup ilgili veri setim var. Çiftleri arasındaki pearson korelasyonları tipik olarak mızrakçı korelasyonlarından kesinlikle daha büyüktür. Bu, herhangi bir korelasyonun doğrusal olduğunu gösterir, ancak pearson ve mızrakçı aynı olsa bile beklenebilir. Pearson ve mızrakçı korelasyonu arasında kesin bir boşluk olduğunda ve pearson daha büyük olduğunda ne anlama gelir? Bu, …

12 correlation  spearman-rho  pearson-r 

Aşağıdaki iki zaman serisi göz önüne alındığında ( x , y ; aşağıya bakınız), bu verilerdeki uzun vadeli eğilimler arasındaki ilişkiyi modellemek için en iyi yöntem nedir? Her iki zaman serisi de zamanın bir fonksiyonu olarak modellenirken önemli Durbin-Watson testlerine sahiptir ve ikisi de durağan değildir (terimi anladığım gibi, ya …

12 regression  time-series  arima 

rastgele değişkenin inci an olan sonlu ise rrrXXXE ( | Xr| )&lt;∞E(|Xr|)&lt;∞ \mathbb E(|X^r|)< \infty Herhangi bir pozitif tamsayı , o zaman moment da sonlu olduğunu göstermeye çalışıyorum.s &lt; rs&lt;rs<rsssE [ | Xs|]E[|Xs|]\mathbb E[|X^s|]

12 self-study  moments  function 

Ödevin bir parçası olarak şu soruyu belirledim: Tek değişkenli bir veri örneği üzerinden% 95 güven aralığı elde etmek için önyüklemenin performansını incelemek için bir simülasyon çalışması tasarlayın ve uygulayın. Uygulamanız R veya SAS olabilir. Bakmak isteyebileceğiniz performans özellikleri, güven aralığı kapsamıdır (yani, güven aralığının gerçek ortalamayı kaç kez içerdiği) ve …

12 r  self-study  bootstrap  monte-carlo 

Bence bu basit bir soru, ancak neden ya da neden olmasın ardındaki mantık olmayabilir. Sormamın nedeni, yakın zamanda bir RF uygulamamı yazdım ve iyi performans göstermesine rağmen beklediğim kadar iyi performans göstermiyor ( Kaggle Fotoğraf Kalitesi Tahmin yarışması veri setine, kazanan puanlara ve bazılarına dayanarak) hangi tekniklerin kullanıldığı hakkında mevcut …

12 algorithms  random-forest  cart 

HMM ve Baum-Welch bazı python uygulaması (saf python veya mevcut şeyler sarma) arıyorum. Bazı fikirler? Google'da yeni arama yaptım ve diğer makine öğrenimi teknikleri konusunda gerçekten zayıf materyal buldum. Neden?

12 python  hidden-markov-model 

Probit ve Logit modelinin marjinal etkisinin layman terimleriyle nasıl hesaplanacağını herkes açıklayabilir mi? İstatistiklerde yeniyim ve bu iki model hakkında kafam karıştı.

12 logistic  interpretation  logit  probit 

Şu anda Octave'de çalışıyor, ancak belgelerin zayıf olması nedeniyle ilerleme çok yavaş. Hangi dili öğrenmek ve kullanmak kolaydır ve makine öğrenimi sorunlarını çözmek için iyi belgelenmiştir? Ben küçük bir veri kümesi üzerinde prototip (binlerce örnek) arıyorum, bu yüzden hız önemli değil. EDIT: Bir öneri motoru geliştiriyorum. Bu nedenle, Düzenli Doğrusal …

12 r  machine-learning  matlab  software  python 

R ve JAGS'de sıfır şişirilmiş bir poisson modeli kurmaya çalışıyorum. JAGS için yeniyim ve bunun nasıl yapılacağı konusunda bazı rehberliğe ihtiyacım var. Aşağıdakileri deniyorum burada y [i] gözlenen değişken model { for (i in 1:I) { y.null[i] &lt;- 0 y.pois[i] ~ dpois(mu[i]) pro[i] &lt;- ilogit(theta[i]) x[i] ~ dbern(pro[i]) y[i] &lt;- …

12 r  poisson-distribution  jags  zero-inflation 

Aynı başlangıç ​​koşullarında iki farklı tedavi uyguladığım ve her durumda sonuç olarak 0 ile 500 arasında bir tamsayı ürettiğim bir deneyden verilerim var. İki tedavinin ürettiği etkilerin önemli ölçüde farklı olup olmadığını belirlemek için eşleştirilmiş bir t testi kullanmak istiyorum. Her bir tedavi grubu için sonuçlar, normal olarak dağıtılır, ancak …

12 t-test  normality-assumption 

Bağlam: Önceki bir soruda, @Robbie, yaklaşık 600 vaka ile yapılan bir çalışmada , normallik testlerinin neden önemli normallik önermediğini, ancak parsellerin normal dağılımlar önerdiğini sordu . Birkaç kişi normallik önem testlerinin çok yararlı olmadığını vurguladı. Küçük numunelerde, bu tür testlerin hafif normallik ihlallerini tespit etmek için çok fazla gücü yoktur …

12 statistical-significance  normal-distribution  normality-assumption  assumptions 

Kolgomorov-Smirnov testi, Shapiro testi, vs ... hepsi dağılımın normal olduğu hipotezini reddediyor. Yine de normal nicelikleri ve histogramı çizdiğimde veriler açıkça normaldir. Belki testlerin gücü yüksek olduğu için? Örneklem büyüklüğü yaklaşık 650'dir. Bu testlerden en az biri sıfır hipotezini reddedemez mi? Sonuçlar: Kolmogorov-Smirnov D 0.05031 Pr &gt; D &lt;0.010 Cramer-von …

12 normal-distribution 

Küçük bir veri kümesi (4 aralık değişkenleri ve tek bir üç faktörlü kategorik değişken 64 gözlem) küme arıyorum. Şimdi, küme analizinde oldukça yeniyim, ancak hiyerarşik kümelemenin veya k-araçlarının mevcut tek seçenek olduğu günlerden bu yana önemli ilerlemeler olduğunun farkındayım. Özellikle, chl tarafından belirtildiği gibi , "küme veya sınıfların sayısına karar …

12 clustering  model-based-clustering  mixed-type-data 

Kapalı. Bu soru konu dışı . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Sorunuzu güncelleyin o yüzden -konu üzerinde Çapraz doğrulanmış için. 3 yıl önce kapalı . M sütunları ve n satırları olan sütunları ve satırları veri noktaları olan bir numpy dizi var . Şimdi her veri …

12 python  kernel-trick  numpy