İstatistikler ve Büyük Veri

Sabit terimi standart hatası ( β 0 olarak) y = β 1 x + β 0 + ε ile verilir S E ( β 0 ) 2 = σ 2 [ 1β^0β^0\hat{\beta}_0y=β1x+β0+εy=β1x+β0+εy=\beta_1x+\beta_0+\varepsilon ; buradaˉx,xi'lerinortalamasıdır.SE(β^0)2=σ2[1n+x¯2∑ni=1(xi−x¯)2]SE(β^0)2=σ2[1n+x¯2∑i=1n(xi−x¯)2]SE(\hat{\beta}_0)^2 = \sigma^2\left[\frac{1}{n}+\frac{\bar{x}^2}{\sum_{i=1}^n(x_i-\bar{x})^2}\right]x¯x¯\bar{x}xixix_i Anladığım kadarıyla, SE, numunelerin% 95'inde, aralık mesela senin uncertainty- rakamlarla gerçek içerecektir p 0 …

13 regression  interpretation  standard-error 

Dağılımını çok yüksek bir dereceye kadar eğriltmiş bir değişkenim olduğunu varsayalım, böylece günlük almak, normal dağılım için eğrilik aralığı içine getirmek için yeterli olmayacaktır. Bu noktada seçeneklerim neler? Değişkeni normal bir dağılıma dönüştürmek için ne yapabilirim?

13 data-transformation  skewness 

Student t-testi hakkında okudum, ancak orijinal dağılımların normal olarak dağıtıldığını varsayabildiğimizde işe yarıyor gibi görünüyor. Benim durumumda, kesinlikle değiller. Ayrıca, 13 dağıtımım varsa, 13^2test yapmam gerekir mi?

13 r  hypothesis-testing  distributions 

Lindsay I Smith tarafından mükemmel bir PCA öğretici aracılığıyla R'de çalışıyorum ve son aşamada takılıp kalıyorum . Aşağıdaki R betiği, orijinal verilerin (bu durumda tekil) Ana Bileşen'den yeniden yapılandırıldığı (PC1) ekseni boyunca düz bir çizgi grafiği vermesi gereken aşamaya (s.19'da) götürür (veriler sadece 2 boyutu vardır, ikincisi kasıtlı olarak düşürülür). …

13 r  pca 

Doğrusal model , tahmini modelin OLS ile güzel bir geometrik yorumunu yapabiliriz: . , y'nin x'in kapsadığı boşluğa yansımasıdır ve artık , x'in kapsadığı boşluğa diktir.y=xβ+ey=xβ+ey=x\beta+ey^=xβ^+e^y^=xβ^+e^\hat{y}=x\hat{\beta}+\hat{e}y^y^\hat{y}e^e^\hat{e} Şimdi sorum şu: Genelleştirilmiş doğrusal modelin (lojistik regresyon, Poission, survival) herhangi bir geometrik yorumu var mı? Tahmin edilen ikili lojistik regresyon modelinin doğrusal modele …

13 regression  model  geometry 

Sıradan En Küçük Kareler yerine Maksimum Olabilirlik Tahminini kullanmak ne zaman tercih edilir? Her birinin güçlü yönleri ve sınırlamaları nelerdir? Her birinin ortak durumlarda nerede kullanılacağı konusunda pratik bilgiler toplamaya çalışıyorum.

13 regression  maximum-likelihood  least-squares 

Kullback-Leibler mesafesini incelerken, çok çabuk öğrendiğimiz iki şey vardır; ne bir üçgen eşitsizliğine ne de simetriye, bir metriğin gerekli özelliklerine saygı göstermez. Benim sorum, bir metriğin tüm kısıtlamalarını yerine getiren herhangi bir olasılık yoğunluk fonksiyonu metriği olup olmadığıdır .

13 distributions  distance  metric 

Kısa süre önce, bu boyutlardaki verileri doğrusallaştırmak amacıyla verileri daha yüksek boyutlu alanlara eşleyen Çekirdek numarasının kullanımını öğrendim. Bu tekniği kullanmaktan kaçınmam gereken durumlar var mı? Sadece doğru çekirdek fonksiyonunu bulmak meselesi mi? Doğrusal veriler için bu elbette yardımcı değildir, ancak doğrusal olmayan veriler için bu her zaman yararlı görünmektedir. …

13 machine-learning  svm  kernel-trick  heuristic 

Laplace dağıtımından önce bir konjugat var mı ? Değilse, Laplace dağılımının parametreleri için arkaya yaklaşan bilinen bir kapalı form ifadesi var mı? Başarısız bir şekilde çok fazla dolaştım, bu yüzden mevcut tahminim yukarıdaki sorularda "hayır" ...

13 bayesian  conjugate-prior  laplace-distribution 

Ben n-boyutlu bir durum vektörü için Lineer Gauss Durum Uzay Analizi için Kalman filtreleme (bir dizi farklı Kalman tipi filtreler [Bilgi Filtresi ve diğerleri] kullanarak) yapabileceğiniz bazı kod yazdım. Filtreler harika çalışıyor ve güzel çıktılar alıyorum. Ancak, loglikelihood kestirimi ile parametre tahmini beni şaşırtıyor. Ben bir istatistikçi değil, fizikçiyim, bu …

13 maximum-likelihood  algorithms  kalman-filter  likelihood 

Doğrusal olmayan bir regresyon etrafındaki güven ve tahmin bantlarının regresyon çizgisi etrafında simetrik olması mı gerekiyor? Yani doğrusal regresyon bantlarında olduğu gibi saat camı şeklini almazlar. Neden? Söz konusu model: İşte şekil: F(x)=⎛⎝⎜⎜A−D1+(xC)B⎞⎠⎟⎟+DF(x)=(A−D1+(xC)B)+D F(x) = \left(\frac{A-D}{1 + \left(\frac x C\right)^B}\right) + D ve işte denklem:

13 confidence-interval  nonlinear-regression  prediction-interval 

Birinci ve ikinci anları göz önüne alındığında, pozitif bir sürekli değişken için maksimum entropi dağılımı nedir ? Örneğin, bir Gauss dağılımı, ortalama ve standart sapması göz önüne alındığında sınırsız bir değişken için maksimum entropi dağılımıdır ve Gamma dağılımı, ortalama değeri ve logaritmasının ortalama değeri göz önüne alındığında, pozitif bir değişken …

13 distributions  standard-deviation  mean  maximum-entropy 

Giriş: Bugün bu sorunun dikkatini çeken “ ANOVA, ikili t-testlerinin hiçbiri olmadığında önemli olabilir mi? ”, Diye düşündüm. . İstatistiksel anlamlılık basit bir ikilik olarak anlaşıldığında ve sadece veya bazında değerlendirildiğinde çeşitli uyumsuz sonuçlar ortaya çıkabilir (yüz değerinde) . @ Glen_b'in yukarıdaki soruya vereceği cevap, aşağıdaki durumlarda yararlı bir örnek …

13 hypothesis-testing  anova  statistical-significance  t-test  multiple-comparisons 

Dunnett testini hesaplamak için R 'multcomp' kütüphanesini ( http://cran.r-project.org/web/packages/multcomp/ ) kullanıyorum. Aşağıdaki komut dosyasını kullanıyorum: Group <- factor(c("A","A","B","B","B","C","C","C","D","D","D","E","E","F","F","F")) Value <- c(5,5.09901951359278,4.69041575982343,4.58257569495584,4.79583152331272,5,5.09901951359278,4.24264068711928,5.09901951359278,5.19615242270663,4.58257569495584,6.16441400296898,6.85565460040104,7.68114574786861,7.07106781186548,6.48074069840786) data <- data.frame(Group, Value) aov <- aov(Value ~ Group, data) summary(glht(aov, linfct=mcp(Group="Dunnett"))) Şimdi bu komut dosyasını R Konsolu üzerinden birden çok kez çalıştırırsam, her seferinde çok farklı sonuçlar elde …

13 r  multiple-comparisons 

Varsayalım ki X0,X1,…,XnX0,X1,…,Xn X_{0},X_{1},\ldots,X_{n} ortalama ile Poisson dağılımına uyduğu iid rasgele değişkenlerdir λλ \lambda . \ Dfrac {1} {\ lambda} miktarının tarafsız bir tahmincisinin olmadığını nasıl kanıtlayabilirim 1λ1λ \dfrac{1}{\lambda} ?

13 probability  poisson-distribution  unbiased-estimator  estimators  iid