İstatistikler ve Büyük Veri

, tasarım matrisi X ile verinin projeksiyonunun varyansını maksimize eden vektör olduğunu varsayalım .uuuXXX Şimdi, aynı zamanda en büyük özdeğeri olan özvektör olan verinin (ilk) ana bileşeni olduğunu ifade eden materyaller gördüm .uuu Ancak, verilerin temel bileşeninin olduğunu da gördüm .XuXuX u Açıkçası, ve X u farklı şeylerdir. Burada bana …

18 pca  terminology  definition 

Bir PCA bileşeninin korunup korunmayacağına karar vermeye çalışıyorum. Örneğin burada veya burada tarif edilen ve karşılaştırılan özdeğer büyüklüğüne dayanan bir milyarlarca kriter vardır . Ancak benim başvurumda, küçük (est) öz değerin büyük (st) öz değere kıyasla küçük olacağını ve büyüklüğe dayalı kriterlerin hepsinin küçük (est) olanı reddedeceğini biliyorum. İstediğim bu …

18 pca 

Kapalı. Bu soru konu dışı . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Sorunuzu güncelleyin o yüzden -konu üzerinde Çapraz doğrulanmış için. 5 yıl önce kapalı . Kümeleme algoritmalarının bir listesini derlemeye çalışıyorum: R'de uygulandı SparseMatrix işlevi tarafından oluşturulanlar gibi seyrek veri matrislerini (benzerlik matrislerini değil) çalıştırın …

18 r  clustering  sparse 

Birçok yerde, MANOVA'nın ANOVA artı lineer diskriminant analizi (LDA) gibi olduğunu iddia ettim, ancak her zaman elle sallanan bir şekilde yapıldı. Tam olarak ne anlama geldiğini bilmek istiyorum . MANOVA hesaplamalarının tüm ayrıntılarını açıklayan çeşitli ders kitapları buldum, ancak istatistikçi olmayan birisinin erişebileceği iyi genel tartışmaları (yalnız resimler ) bulmak …

18 anova  discriminant-analysis  manova 

Sadece Sinir Netowrks Andrew Ng adlı Doğrusal Olmayan Hipotezi kaplı ve biz belirlenmesi için çoktan seçmeli bir soru vardı özelliklerin sayısını çözünürlükte bir görüntü için 100x100 ait grescale şiddetleri. Ve cevap 50 milyon oldu 555 x 10710710^7 Ancak, daha önce 50 x 50 piksel, gri tonlamalı bir görüntü için. özellik …

18 feature-selection  image-processing 

Gauss Radyal Temel Fonksiyonu (RBF) ile lineer regresyon yapmak ve Gauss çekirdeği ile lineer regresyon yapmak arasındaki fark nedir?

18 regression  normal-distribution  kernel-trick 

Kapsamlı bir veri sunumu teknikleri galerisi olarak ne önerirsiniz? Verilerinizi sunmanın daha iyi yollarını düşünürken başvurabileceğiniz bir kaynak? Aşağıdakileri belirledim, ancak sizinkini ekleyebilirseniz sevinirim: Çevrimiçi galeriler: http://www.mathworks.com/discovery/gallery.html http://www.idlcoyote.com/gallery/ https://developers.google.com/chart/interactive/docs/gallery?csw=1 http://www.walkingrandomly.com/?p=4788 http://en.wikipedia.org/wiki/Category:Statistic_charts_and_diagrams (tek sayfalık grafik galerisi sağlamaz) http://docs.ggplot2.org/current/ http://www.itl.nist.gov/div898/handbook/graphgal.htm http://scikit-learn.org/stable/auto_examples/index.html http://www.stata.com/support/faqs/graphics/gph/stata-graphs/ http://shiny.rstudio.com/gallery/ https://bl.ocks.org/ (etkileşimli ve vektör grafikleri) http://www.texample.net/tikz/examples/ (Kod ile TikZ …

18 data-visualization 

Bu grafiği yapmak için, ortalama = 0 ve sd = 1 olan normal bir dağılımdan farklı büyüklükte rastgele örnekler ürettim. Güven aralıkları daha sonra t.test () işleviyle .001 ile .999 (kırmızı çizgi) arasında değişen alfa kesimleri kullanılarak hesaplandı, profil olasılığı, aşağıdaki notlarda bulduğum kod kullanılarak hesaplandı (I can ' t …

18 r  confidence-interval  profile-likelihood 

Her biri üzerinde bir harf bulunan nnn fayanslı bir çantanız olduğunu varsayalım . Orada nAnAn_A 'A' harfi ile çinileri nBnBn_B vb 'B' ile ve ve n∗n∗n_*'joker' karolar (Elimizdeki n=nA+nB+…+nZ+n∗n=nA+nB+…+nZ+n∗n = n_A + n_B + \ldots + n_Z + n_*). Sonlu sayıda kelimeden oluşan bir sözlüğünüz olduğunu varsayalım. kkk fayanslarını değiştirmeden …

18 probability  games  combinatorics 

Bu tür durumlarda ki-kare düşük gücünün bariz sorununu bir kenara bırakarak, verileri ikiye ayırarak, belirtilmemiş parametrelerle bazı yoğunluk için ki-kare testi iyiliği yaptığınızı hayal edin. Somutluk için, diyelim ki ortalaması bilinmeyen üstel dağılım ve örnek büyüklüğü 100 diyelim. Bölme başına makul sayıda beklenen gözlem elde etmek için verilerin bir kısmının …

18 chi-squared  goodness-of-fit  binning 

On binlerce tıbbi maliyet verisi gözlemine sahip bir veri setim var. Bu veriler sağda çok eğri ve çok sayıda sıfır var. İki grup insan için bu gibi görünüyor (bu durumda her biri> 3000 obs olan iki yaş grubu): Min. 1st Qu. Median Mean 3rd Qu. Max. 0.0 0.0 0.0 4536.0 …

18 t-test  skewness  permutation-test 

Bir n×pn×pn \times p değişken matrisindeki her bir gözlem çifti arasındaki R'deki örnek Mahalanobis mesafesini hesaplamam gerekiyor . Ben, yani sadece verimli bir çözüm gerekir n(n−1)/2n(n−1)/2n(n-1)/2 mesafeleri hesaplanır ve tercihen de C / RCpp uygulanan / Fortran vb varsayalım ΣΣ\Sigma nüfus kovaryans matrisi bilinmemektedir, ve örnek kovaryans kullanımı yerine matris. …

18 r  algorithms  distance 

Bugün bu soruyu fark ettim ve insanların belki de bu iş parçacığına benzer şekilde güç analizi / örnek boyutu hesaplamaları için rahatça erişebilecekleri kaynakları listelemiş olsaydık faydalı olacağını düşündüm: R öğrenme kaynakları .

18 power-analysis 

Ben, lineer regresyon ve GLM okumak neredeyse her şey bu kaynar: f ( x , β ) bir non-arttırılması ya da işlevini azalmayan x ve β Eğer tahmin parametresi ve bir testtir hakkında hipotezler. Y'yi f ( x'in doğrusal bir işlevi haline getirmek için düzinelerce bağlantı işlevi ve y ve …

18 generalized-linear-model  nonlinear-regression  link-function 

Birkaç kitap (Raudenbush & Bryk, Snijders & Bosker, Gelman & Hill, vb.) Ve birkaç makale (Gelman, Jusko, Primo & Jacobsmeier, vb.) kümelenmiş standart hataların kullanımı ile çok düzeyli modelleme arasındaki temel farklar. Eldeki araştırma sorusuyla ilgili kısımları anlıyorum; yalnızca çok düzeyli modellemeden alabileceğiniz belirli cevap türleri vardır. Ancak, örneğin, ilgi …

18 mixed-model  multilevel-analysis  clustered-standard-errors