İstatistikler ve Büyük Veri

ANOVA'nın bir yönünden farklı olan araçları bulmak için planlı kontrastları kullanırken, kısıtlamaların birbirleriyle ilişkisiz olmaları ve tip I hatasının şişirilmelerini engellemeleri için ortogonal olması gerektiğini söyleyen bir makale okudum. Ortogonalın neden hiçbir koşulda ilişkisiz olduğunu anlamadım. Bunun görsel / sezgisel bir açıklamasını bulamıyorum, bu yüzden bu makaleleri / cevapları anlamaya …

25 correlation  independence 

Örneğin bir Bayes sınıflandırıcısı aracılığıyla denetimli bir istatistiksel sınıflandırma görevi için bir veri setine sahip olduğumu varsayalım. Bu veri seti 20 özellikten oluşuyor ve Temel Bileşen Analizi (PCA) ve / veya Doğrusal Ayrımcı Analizi (LDA) gibi boyutsallık azaltma teknikleri ile onu 2 özelliğe çıkarmak istiyorum. Her iki teknik de verileri …

25 classification  pca  regularization  discriminant-analysis  overfitting 

Önyargılı maksimum olabilirlik (ML) tahmin edicileri hakkında bir kafa karışıklığım var . Bütün kavramın matematiği benim için oldukça açık ama arkasındaki sezgisel mantığı bulamıyorum. Tahmini almak istediğimiz bir parametrenin işlevi olan bir dağılımdan örnekleri olan belirli bir veri kümesi göz önüne alındığında, ML tahmincisi, veri kümesini üretmesi en muhtemel olan …

25 maximum-likelihood  bias 

Diyelim ki bir regresyon . Neden üst seçerek ilkesi bileşenleri , model üzerindeki öngörü gücünü korumak mu ?Y∼XY∼XY \sim XkkkXXXYYY Ben boyutluluk-azaltma / görüş özellikli seçme noktasında, eğer gelen anlıyoruz kovaryans matrisinin öz vektörleri olduğundan üst ile özdeğerler, ardından üst olan ana bileşenler maksimum varyans ile. Böylece, özelliklerin sayısını azaltabilir …

25 regression  classification  pca  dimensionality-reduction  regularization 

Rastgele ormanların, çeşitli görevlerde oldukça iyi performans gösterdiği iyi bilinmektedir ve öğrenme yöntemlerinin derleyicisi olarak adlandırılmıştır . Rastgele bir orman kullanmaktan kaçınması gereken herhangi bir sorun veya özel durum var mı?

25 machine-learning  classification  random-forest 

En küçük kareler bağlamında sırt cezası ile ilgili birkaç sorum var: βridge=(λID+X′X)−1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) İfade, X'in kovaryans matrisinin köşegen bir matrise doğru küçüldüğünü, yani (değişkenlerin işlemden önce standartlaştırıldığı varsayılarak) girdi değişkenleri arasındaki korelasyonun azaltılacağını önermektedir. Bu yorum doğru mu? 2) Eğer büzülme uygulamasıysa neden satırlarına formüle …

25 regression  pca  regularization  ridge-regression 

Ben Alman üniversitesinde yüksek lisans öğrencisiyim ve şu an tezimi yazıyorum. Doktora ile devam edersem ya da sektörde bir iş bulmam gerekiyorsa iki ay içinde çok zor bir karar vermem gerekecek. Doktora yapmak için nedenlerim: Çok meraklı bir insanım ve hala çok fazla bilgim olmadığını hissediyorum . Çok fazla şey …

25 machine-learning  data-mining  careers 

Aşağıdaki R örneğini düşünün: plot( hclust(dist(USArrests), "ave") ) Y ekseni "Yükseklik" tam olarak ne anlama geliyor? Kuzey Carolina ve Kaliforniya'ya bakmak (sol tarafta). Kaliforniya, Kuzey Carolina’ya Arizona’dan daha yakın mı? Bu yorumu yapabilir miyim? Hawaii (sağda) kümeye oldukça geç katılıyor. Bunu diğer devletlerden daha "yüksek" olarak görebiliyorum. Genel olarak dendrogramda …

25 interpretation  hierarchical-clustering  dendrogram 

Şu anda bazı karışık efektli doğrusal modeller kullanıyorum. R içinde "lme4" paketini kullanıyorum. Modellerim şu formu alıyor: model <- lmer(response ~ predictor1 + predictor2 + (1 | random effect)) Modellerimi çalıştırmadan önce, öngörücüler arasında olası çoklu bağlantı olup olmadığını kontrol ettim. Bunu ben yaptım: Tahmin edicilerin bir veri çerçevesi oluşturun …

25 r  correlation  mixed-model  lme4-nlme  multicollinearity 

Basit bir regresyon modelinde, y=β0+β1x+ε,y=β0+β1x+ε, y = \beta_0 + \beta_1 x + \varepsilon, OLS tahmin edicileri ve ilişkilendirilir.ββ^OLS0β^0OLS\hat{\beta}_0^{OLS}β^OLS1β^1OLS\hat{\beta}_1^{OLS} İki tahminci arasındaki korelasyon için formül (eğer doğru bir şekilde türetmişsem): Corr(β^OLS0,β^OLS1)=−∑ni=1xin−−√∑ni=1x2i−−−−−−−√.Corr⁡(β^0OLS,β^1OLS)=−∑i=1nxin∑i=1nxi2. \operatorname{Corr}(\hat{\beta}_0^{OLS},\hat{\beta}_1^{OLS}) = \frac{-\sum_{i=1}^{n}x_i}{\sqrt{n} \sqrt{\sum_{i=1}^{n}x_i^2} }. Sorular: Korelasyonun varlığı için sezgisel açıklama nedir? Korelasyonun varlığının önemli etkileri var mı? Sonrası edildi …

25 regression  least-squares  estimators 

Rasgele bir ilişkiyi gösteren bir tablo oluşturmak istiyorum arasında boyutu, bir orta güçlü bir ilişki mevcut olduğu: n × nCC\mathbf Cn×nn×nn \times n boyutunda kare gerçek simetrik matris, örneğin ;n×nn×nn \times nn=100n=100n=100 pozitif-kesin, yani tüm özdeğerlerle gerçek ve pozitif; tam rütbe; tüm diagonal elemanlar eşittir ;111 köşegen dışı elemanlar makul …

25 random-generation  covariance-matrix  correlation-matrix 

Çekirdek yoğunluğu tahminini daha iyi anlamaya çalışıyorum. Vikipedi tanımını kullanarak: https://en.wikipedia.org/wiki/Kernel_density_estimation#Definition fh^( x ) = 1nΣni = 1Kh( x - xben)= 1n sΣni = 1K( x - xbenh)fh^(x)=1n∑i=1nKh(x−xi)=1nh∑i=1nK(x−xih) \hat{f_h}(x) = \frac{1}{n}\sum_{i=1}^n K_h (x - x_i) \quad = \frac{1}{nh} \sum_{i=1}^n K\Big(\frac{x-x_i}{h}\Big) yi , ile ile arasında olması durumunda , (pencere boyutu) …

25 r  kernel-smoothing  convolution 

800 obs ile bir data.frame var. 40 değişkenden biriyim ve öngörümün sonuçlarını geliştirmek için Temel Bileşen Analizi'ni kullanmak istiyorum (şu ana kadar bazı 15 elle toplanan değişkenlerde Support Vector Machine ile en iyi şekilde çalışıyor). Bir prcomp 'ın tahminlerimi geliştirmeme yardımcı olabileceğini biliyorum, ancak prcomp fonksiyonunun sonuçlarını nasıl kullanacağımı bilmiyorum. …

25 r  pca 

Üç farklı görevde 30 erkek ve 30 kadını test ettiğim tekrarlanan bir tasarım yaptım. Erkeklerin ve kadınların davranışlarının nasıl farklı olduğunu ve bunun göreve nasıl bağlı olduğunu anlamak istiyorum. Bunu araştırmak için hem lmer hem de lme4 paketini kullandım, ancak her iki yöntem için de varsayımları kontrol etmeye çalışıyorum. Çalıştırdığım …

25 r  mixed-model  assumptions  lme4-nlme 

Ben lisans öğrencisiyim ve olasılık dersim için bir projem var. Temel olarak, bir dizi yıl ülkemi etkileyen kasırgalar hakkında bir veri setim var. Olasılık Kitabımda, (R ile Olasılık ve İstatistik) verinin Poisson dağılımını takip edip etmediğini kontrol etmenin (tam değil) bir örneği var, bu 3 kriterin takip edildiğini kanıtlamaya çalışıyorlar: …

25 r  self-study  poisson-distribution  poisson-process