İstatistikler ve Büyük Veri

"Kalite" adı verilen bağımsız bir değişkenim var; bu değişkenin 3 tepki yöntemi vardır (kötü kalite; orta kalite; yüksek kalite). Bu bağımsız değişkeni çoklu doğrusal regresyonuma tanıtmak istiyorum. Bir ikili bağımsız değişken (kukla değişken, ben kod 0/ olabilir 1) olduğunda, bir çoklu doğrusal regresyon modeline tanıtmak kolaydır. Ancak 3 yanıt yöntemi …

17 r  regression  categorical-data  multicollinearity  categorical-encoding 

Üç değişkenin bir “korelasyonunun” bir şey olup olmadığıyla ilgileniyorum ve ne olursa olsun, bu ne olurdu? Pearson ürün moment korelasyon katsayısı E { ( X - μ X ) ( Y - μ Y ) }√V a r ( X ) V a r ( Y )E{(X−μX)(Y−μY)}Var(X)Var(Y)−−−−−−−−−−−−√\frac{\mathrm{E}\{(X-\mu_X)(Y-\mu_Y)\}}{\sqrt{\mathrm{Var}(X)\mathrm{Var}(Y)}} Şimdi 3 değişken …

17 correlation  pearson-r 

Wikipedia makale temel bileşen analizi devletler bu X T X matrisini oluşturmak zorunda kalmadan SVD'sini hesaplamak için verimli algoritmalar mevcuttur , bu nedenle SVD'nin hesaplanması artık sadece bir avuç bileşen gerekli olmadıkça bir veri matrisinden temel bileşenler analizini hesaplamanın standart yoludur.XXXXTXXTXX^TX Birisi bana makalenin bahsettiği etkili algoritmaların neler olduğunu söyleyebilir …

17 pca  algorithms  svd  numerics 

Sayım verilerinin aşağıdaki histogramına sahibim. Ve ona ayrık bir dağıtım yapmak istiyorum. Bu konuda nasıl ilerlemem gerektiğinden emin değilim. İlk önce histogramdaki ayrık bir dağılımı, yani Negatif Binom dağılımını üst üste koymalı mıyım, böylece ayrık dağılımın parametrelerini alıp p-değerlerini kontrol etmek için bir Kolmogorov-Smirnov testi yapmalıyım? Bu yöntemin doğru olup …

17 r  poisson-distribution  discrete-data  computational-statistics  negative-binomial 

Şu anda Olabilirlik Prensibini anlamaya çalışıyorum ve açıkçası hiç anlamıyorum. Bu yüzden, oldukça basit sorular olsa bile tüm sorumu bir liste olarak yazacağım. "Tüm bilgi" ifadesi bu ilke bağlamında tam olarak ne anlama geliyor? ( bir örnekteki tüm bilgilerde olduğu gibi olabilirlik fonksiyonunda bulunur.) İlke bir şekilde nin çok kanıtlanabilir …

17 bayesian  likelihood  likelihood-principle 

Bunu biliyorum ^ β 0 = ˉ y - ^ β 1 ˉ xβ0^=y¯−β1^x¯\hat{\beta_0}=\bar{y}-\hat{\beta_1}\bar{x} ve bu ı varyans hesaplanan zaman var ne kadar geçerli: V a r ( ^ β 0 )= V a r ( ˉ y - ^ β 1 ˉ x )= V a r ( ( …

17 regression  self-study 

Çok değişkenli standart normal dağılım ile Gaussian kopula arasındaki farkın ne olduğunu merak ediyorum çünkü yoğunluk fonksiyonuna baktığımda benim için aynı görünüyorlar. Benim sorunum Gaussian kopula'nın neden tanıtıldığı veya Gaussian kopula'nın ne fayda sağladığı veya Gaussian kopula çok değişkenli standart normal fonksiyondan başka bir şey olmadığında üstünlüğünün ne olduğudur. Ayrıca, …

17 normal-distribution  copula 

Sorumun özü şudur: Let Y∈RnY∈RnY \in \mathbb{R}^n ortalama bir çok değişkenli normal rastgele değişken olarak μμ\mu ve kovaryans matrisi ΣΣ\Sigma . Let Z:=log(Y)Z:=log⁡(Y)Z := \log(Y) , yani Zi=log(Yi),i∈{1,…,n}Zi=log⁡(Yi),i∈{1,…,n}Z_i = \log(Y_i), i \in \{1,\ldots,n\} . Nasıl bir modelin uygunluğunun AIC gözlenen gerçekleşmelerine kıyasla nasıl bir YYY gözlemlenen gerçekleşmelerine bir model uyum …

17 data-transformation  aic  likelihood 

SVM'deki RBF Çekirdeğinin ne yaptığını nasıl anlayabilirim? Yani matematiği anlıyorum ama bu çekirdeğin ne zaman yararlı olacağını hissetmenin bir yolu var mı? RBF vektör mesafeleri içerdiğinden, kNN sonuçları SVM / RBF ile ilişkili midir? Polinom çekirdeği hakkında bir his edinmenin bir yolu var mı? Boyut ne kadar yüksekse, o kadar …

17 svm  kernel-trick 

Baktığım küçük bir metin sınıflandırma probleminde, Naive Bayes bir SVM'ye benzer veya daha yüksek bir performans sergiliyordu ve çok kafam karıştı. Bir algoritmanın diğerine karşı zaferine hangi faktörlerin karar verdiğini merak ediyordum. SVM'ler üzerinde Naive Bayes kullanmanın bir anlamı olmadığı durumlar var mı? Birisi buna ışık tutabilir mi?

17 machine-learning  classification  svm  naive-bayes 

Düz bir öncekiyle, ML (sıklık - maksimum olasılık) ve MAP (Bayes - maksimum posteriori) tahmin edicileri çakışır. Bununla birlikte, daha genel olarak, bazı kayıp fonksiyonlarının iyileştiricileri olarak türetilen nokta tahmin edicilerden bahsediyorum. yani (Bayesian) x (x^(.)=argminE(L(X−x^(y))|y) (Bayesian) x^(.)=argminE(L(X−x^(y))|y) (Bayesian) \hat x(\,. ) = \text{argmin} \; \mathbb{E} \left( L(X-\hat x(y)) \; …

17 bayesian  estimation  loss-functions  frequentist  decision-theory 

Sorumu sormadan önce, aradığım kaynak türlerini daha iyi anlayabilmeniz için size istatistikler hakkında bildiklerim hakkında biraz bilgi vereyim. Psikoloji alanında lisansüstü öğrencisiyim ve bu yüzden neredeyse her gün istatistik kullanıyorum. Şimdiye kadar, genel yapısal denklem modelleme çerçevesinde uygulandıkları için oldukça geniş bir teknik dizisine aşinayım. Ancak, eğitimim bu tekniklerin kullanımı …

17 mathematical-statistics  references 

Bishop'un "Örüntü Sınıflandırma ve Makine Öğrenimi" kitabında, sinir ağları bağlamında düzenlileştirme tekniğini açıklar. Ancak, eğitim sürecinde, modelin karmaşıklığıyla birlikte serbestlik derecelerinin arttığını açıklayan bir paragraf anlamıyorum. İlgili teklif şudur: Bir ağın etkili karmaşıklığını kontrol etmenin bir yolu olarak düzenlileştirmeye bir alternatif, erken durdurma prosedürüdür. Doğrusal olmayan ağ modellerinin eğitimi, bir …

17 machine-learning  neural-networks  regularization  degrees-of-freedom 

Tarafsız ağırlıklı varyans zaten burada ve başka yerlerde ele alınmıştı, ancak hala şaşırtıcı miktarda karışıklık var gibi görünüyor. Vikipedi makalesinde olduğu gibi ilk bağlantıda sunulan formüle yönelik bir fikir birliği olduğu anlaşılmaktadır . Bu aynı zamanda R, Mathematica ve GSL tarafından kullanılan formüle benziyor (ancak MATLAB değil). Bununla birlikte, Wikipedia …

17 variance  weighted-mean  weighted-data 

Bitki epifitlerinin yoğunluğuna ilişkin verilerin ANCOVA analizini yapmak istiyorum. İlk başta, biri N ve bir S olmak üzere iki eğim arasında bitki yoğunluğunda herhangi bir fark olup olmadığını bilmek isterim, ancak yükseklik, gölgelik açıklığı ve konakçı bitkinin yüksekliği gibi başka verilerim var. Değişkenimin iki eğim (N ve S) olması gerektiğini …

17 r  ancova