İstatistikler ve Büyük Veri

İşte bu soruya ilişkin bağlamım: Anlayabildiğim kadarıyla, ağırlıklı veri ve surveypaketi kullanırken R'de sıradan bir en küçük kareler regresyonunu çalıştıramayız . Burada kullanmak zorundayız svyglm(), bunun yerine genelleştirilmiş doğrusal bir model çalıştırıyor olmalıyız (aynı şey olabilir mi? Burada neyin farklı olduğu konusunda bulanıkım). OLS ve lm()fonksiyon aracılığıyla, yorumunu anladığım bir …

14 r  generalized-linear-model  least-squares  r-squared  deviance 

Rastgele Orman Sınıflandırması yapmadan önce PCA yapmak mantıklı mıdır? Yüksek boyutlu metin verileriyle uğraşıyorum ve boyutsallığın lanetinden kaçınmaya yardımcı olmak için özellik azaltma yapmak istiyorum, ancak Rastgele Ormanlar zaten bir boyut azaltma türüne değil mi?

14 classification  pca  random-forest  dimensionality-reduction  high-dimensional 

Herkes CART'ta sınıflandırmanın ardındaki bazı matematiği açıklamaya yardımcı olabilir mi? İki ana aşamanın nasıl gerçekleştiğini anlamak istiyorum. Örneğin, bir veri kümesi üzerinde bir CART sınıflandırıcısı eğittim ve tahmini performansını işaretlemek için bir test veri kümesi kullandım ancak: Ağacın ilk kökü nasıl seçilir? Her dal neden ve nasıl oluşturulur? 15 sütun …

14 regression  classification  data-mining  cart 

Rastgele değişkenlerim var . X 0 ortalama μ > 0 ve varyans 1 ile normal dağılıma sahiptir . X, 1 , ... , x , n RVS normal ortalama ile dağıtılan 0 ve varyans 1 . Her şey birbirinden bağımsızdır.X0, X1, … , XnX0,X1,…,XnX_0,X_1,\dots,X_nX0X0X_0μ > 0μ>0\mu>0111X1, … , XnX1,…,XnX_1,\dots,X_n000111 Let …

14 probability  normal-distribution 

Yakın zamanda, rastgele bir hız ve ivme ile bir parçacık pozisyonunu ölçmenin basit örneğine bir Kalman filtresi uyguladım. Kalman filtresinin iyi çalıştığını buldum, ancak daha sonra kendime bu ve sadece hareketli bir ortalama yapmak arasındaki farkın ne olduğunu sordum? Hareketli ortalamanın Kalman filtresinden daha iyi performans sergilediği yaklaşık 10 numunelik …

14 smoothing  kalman-filter 

Akran desteği (bağımsız değişken) ve iş tatmini (bağımlı değişken) arasındaki ilişkiyi bulmak için ki-kare testi uygulamak istiyorum. Akran desteği, destek derecesine göre dört grupta kategoridir: 1 = çok daha az ölçüde, 2 = bir ölçüde, 3 = büyük ölçüde ve 4 = çok büyük ölçüde. İş tatmini iki kategoriye ayrılır: …

14 chi-squared  nonparametric  contingency-tables  association-measure 

Panel veri analizi ile karma model analizi arasındaki farkı bilmek istiyorum. Bildiğim kadarıyla, hem panel verileri hem de karışık modeller sabit ve rastgele efektler kullanıyor. Eğer öyleyse, neden farklı isimleri var? Yoksa eşanlamlılar mı? Sabit, rastgele ve karışık efektin tanımını açıklayan ancak sorumu tam olarak cevaplamayan şu yazıyı okudum: Sabit …

14 mixed-model  references  panel-data 

İklim modellemesinde, Dünya'nın iklimini yeterince tasvir edebilecek bir model arıyorsunuz. Bu, yarı döngüsel olan kalıpları göstermeyi içerir: El Nino Güney Salınımı gibi şeyler. Ancak model doğrulaması, genellikle iyi gözlemsel verilerin bulunduğu (son ~ 150 yıl) nispeten kısa sürelerde gerçekleşir. Bu, modelinizin doğru kalıpları görüntüleyebileceği, ancak faz dışı olabileceği anlamına gelir; …

14 time-series  model-comparison  fourier-transform  climate 

Markov zinciri Monte Carlo'nun (MCMC) çeşitli uygulamaları hakkında iyi özetler (yorumlar, kitaplar) var mı? Uygulamada Markov Zinciri Monte Carlo'yu gördüm , ancak bu kitaplar biraz eski görünüyor. Makine öğrenimi, bilgisayarla görme ve hesaplamalı biyoloji gibi alanlarda MCMC'nin çeşitli uygulamaları hakkında daha fazla güncelleme kitabı var mı?

14 machine-learning  mcmc  inference  references  application 

Tek bir cevap değişkeni (sürekli / normal olarak dağılmış) ve 4 açıklayıcı değişkeni (3'ü faktör, dördüncüsü bir tamsayı) olan genelleştirilmiş doğrusal bir model yaptım. Kimlik bağlantısı işleviyle Gauss hata dağıtımı kullandım. Şu anda modelin genelleştirilmiş doğrusal modelin varsayımlarını karşıladığını kontrol ediyorum: Y'nin bağımsızlığı doğru bağlantı fonksiyonu Açıklayıcı değişkenlerin doğru ölçüm …

14 regression  generalized-linear-model  ancova  assumptions  scatterplot 

Bu iki fonksiyon R'de bulunur, ancak farklılıklarını bilmiyorum. Çağrılırken onlar sadece aynı p-değerleri döndürür görünüyor wilcox.testile correct=FALSEve wilcox_testile (sikke paketinde) distribution="aymptotic". Diğer değerler için farklı p değerleri döndürürler. Ayrıca wilcox.test, parametre ayarlarından bağımsız olarak, veri kümem için her zaman W = 0 döndürüyor: x = c(1, 1, 1, 3, 3, …

14 r  hypothesis-testing  p-value  wilcoxon-mann-whitney 

Şu gri tonlamalı görüntüleri düşünün: İlk görüntü kıvrımlı bir nehir desenini göstermektedir. İkinci görüntü rastgele parazit gösteriyor. Bir görüntünün nehir örüntüsü göstermesinin muhtemel olup olmadığını belirlemek için kullanabileceğim istatistiksel bir ölçü arıyorum. Nehir görüntüsü iki alana sahiptir: nehir = yüksek değer ve diğer her yerde = düşük değer. Sonuç, histogramın …

14 variance  spatial  pattern-recognition 

Bazı bazı tepki değişken olduğunu varsayalım yijyijy_{ij} den ölçüldü jjj içinde kardeş inci iii inci aileyi. Ek olarak, her bir denekten aynı anda bazı davranışsal veriler xijxijx_{ij} toplanmıştır. Aşağıdaki doğrusal karışık efektler modeli ile durumu analiz etmeye çalışıyorum: yij=α0+α1xij+δ1ixij+εijyij=α0+α1xij+δ1ixij+εijy_{ij} = \alpha_0 + \alpha_1 x_{ij} + \delta_{1i} x_{ij} + \varepsilon_{ij} burada …

14 mixed-model  lme4-nlme  covariance-matrix  non-independent 

Bayesian Kement açıklayan birkaç matematik ağır kağıt vardır, ama ben test etmek istiyorum, ben kullanabileceğiniz doğru JAGS kodunu istiyorum. Birisi düzenli lojistik regresyonu uygulayan örnek BUGS / JAGS kodu gönderebilir mi? Herhangi bir şema (L1, L2, Elastik ağ) harika olurdu, ancak Kement tercih edilir. Ayrıca ilginç alternatif uygulama stratejileri olup …

14 bayesian  logistic  lasso  jags  regularization 

Kısa süre önce bir psikoloji dergisine kantil regresyon kullandığım bir bildiri gönderdim. Kantil regresyonun açık bir sergisinde zaten yeterince düşünmüş olduğumu düşünmeme rağmen, hakemler, kantil regresyon tekniğinin sadece standart OLS regresyonuna aşina olduğunu daha iyi açıklamalarını istedi. Peki, istatistikçi olmayanlara ampirik regresyonu açıklamanın en iyi yolu nedir?

14 quantile-regression  teaching