İstatistikler ve Büyük Veri

aşağıdaki 3 değer için 222,1122,45444 Wolfram Alpha verir 0,706 Excel, kullanarak =SKEW(222,1122,45444)1.729 verir Farkı ne açıklıyor?

14 excel  software  descriptive-statistics  mathematica 

Halen Halton ve Sobol nokta kümeleri gibi düşük tutarsızlık / yarı rastgele nokta kümeleri kullanarak rastgele değerler ürettiğim bir proje üzerinde çalışıyorum . Bunlar esas olarak boyutlu vektörler taklit eden bir boyutlu homojen (0,1) değişkenleri, fakat daha iyi bir yayıldı. Teoride, projenin başka bir bölümünde tahminlerimin varyansını azaltmaya yardımcı olmaları …

14 hypothesis-testing  monte-carlo  random-generation  randomness 

Bu, birkaç gün önce sorduğum bir soru . Konuya farklı bir eğim verdiğini hissediyorum, bu yüzden yeni bir soru listeledi. Soru şudur: Farklı bağımlı değişkenlere sahip modeller arasındaki katsayıların büyüklüğünü karşılaştırabilir miyim? Örneğin, tek bir örnekte ekonominin Temsilciler Meclisi'nde mi yoksa Başkan için mi daha güçlü bir oy tahmincisi olduğunu …

14 regression  logistic 

Nominal veya sıralı verilerdeki kategori sayısını azaltmak için bir yöntem bulmakta zorlanıyorum. Örneğin, bir dizi nominal ve sıralı faktöre sahip bir veri kümesi üzerinde bir regresyon modeli oluşturmak istediğimi varsayalım. Bu adımla ilgili hiçbir sorunum olmasa da, genellikle nominal bir özelliğin eğitim setinde gözlemsiz olduğu, ancak daha sonra doğrulama veri …

14 r  categorical-data  dimensionality-reduction  many-categories 

Diyelim ki ayrıntılı olarak karşılaştırmak istediğim iki dağılımım var, yani şekil, ölçek ve kaydırmayı kolayca görünür hale getirecek şekilde. Bunu yapmanın iyi bir yolu, her dağıtım için bir histogram çizmek, aynı X ölçeğine koymak ve birini diğerinin altına istiflemektir. Bunu yaparken, binning nasıl yapılmalıdır? Aşağıdaki Şekil 1'deki gibi bir dağılım …

14 data-visualization  histogram  pdf  binning 

Kapalı. Bu soru konu dışı . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Soruyu , Çapraz Doğrulanmış için konuyla ilgili olacak şekilde güncelleyin . 2 yıl önce kapalı . Bazen, kişi başına birden fazla gözlem olduğunda yaş ve cinsiyet alırken, bir tanımlayıcı tarafından gruplandırılmış bir veri kümesinin …

14 r  dataset  aggregation  plyr 

Simetrik öneri ile rastgele yürüyüş Metropolis-Hasitings q( x | y) = g( | y- x | )q(x|y)=g(|y−x|)q(x|y)= g(|y-x|) , kabul olasılığının P( a c c e p t y ) = dk { 1 , f( y) / f( x ) }P(accept y)=min{1,f(y)/f(x)}P(accept\ y) = \min\{1, f(y)/f(x)\} g (\ cdot) …

14 mcmc  metropolis-hastings 

Boltzmann makinelerinin nasıl çalıştığını anlamaya çalışıyorum, ancak ağırlıkların nasıl öğrenildiğinden emin değilim ve net bir açıklama bulamadım. Aşağıdakiler doğru mu? (Ayrıca, iyi Boltzmann makine açıklamalarına işaret etmek de harika olurdu.) Bir dizi görünür birim (örn., Görüntüdeki siyah / beyaz piksele karşılık gelen) ve bir dizi gizli birimimiz var. Ağırlıklar bir …

14 neural-networks 

Aynı ölçek parametresine sahip Gama değişkenlerini kullanarak Dirichlet dağılımı ile rastgele bir değişken üretmek kolaydır. Eğer: Xi∼Gamma(αi,β)Xi∼Gamma(αi,β) X_i \sim \text{Gamma}(\alpha_i, \beta) Sonra: (X1∑jXj,…,Xn∑jXj)∼Dirichlet(α1,…,αn)(X1∑jXj,…,Xn∑jXj)∼Dirichlet(α1,…,αn) \left(\frac{X_1}{\sum_j X_j},\; \ldots\; , \frac{X_n}{\sum_j X_j}\right) \sim \text{Dirichlet}(\alpha_1,\;\ldots\;,\alpha_n) Sorun Ölçek parametreleri eşit değilse ne olur? Xi∼Gamma(αi,βi)Xi∼Gamma(αi,βi) X_i \sim \text{Gamma}(\alpha_i, \beta_i) Peki bu değişkenin dağılımı nedir? (X1∑jXj,…,Xn∑jXj)∼?(X1∑jXj,…,Xn∑jXj)∼? \left(\frac{X_1}{\sum_j …

14 expected-value  dirichlet-distribution  gamma-distribution  integral 

Umarım bu aptalca bir soru değildir. Diyelim ki sürekli bir dağılımım var. Ayrıca bir istatistiğim var ve bu rasgele dağılımı bu istatistiğin p değerini almak için kullanmak istiyorum. R'de dağıtımınız yerleşik olanlardan birine uyduğu sürece bunu yapmanın kolay olduğunu anlıyorum, normal gibi. Ancak bunu, böyle bir varsayım yapmadan herhangi bir …

14 r  distributions  p-value 

Etkileşimli veri görselleştirme (yakınlaştırma, işaretleme, fırçalama, nokta eşleme vb.) Hakkında biraz daha fazla bilgi edinmek istiyorum. Herhangi bir karşılama: İstatistiksel keşif için bu yöntemlerin nasıl kullanılacağına dair öğretici / rehber / kitap (?) / Video . İyi / ilginç etkileşimli veri-viz paketleri için işaretçiler (R ve dışında) Sadece top yuvarlamaya …

14 data-visualization  interactive-visualization 

Bir sinyal algılama deneyi tipik olarak gözlemciye (veya teşhis sistemine) bir sinyal veya sinyalsiz bir özellik sunar ve gözlemciden sunulan öğenin bir sinyal veya sinyal olmadığını düşünmesi istenir. Bu tür deneyler, 2x2'lik bir matrisi dolduran veriler verir: Sinyal algılama teorisi, "sinyal / sinyal olmayan" kararın, sinyal denemelerinin genellikle sinyal olmayan …

14 diagnostic  signal-detection 

İkili bir sınıflandırıcı oluşturmak istediğimi varsayalım. Birkaç bin özelliğim ve sadece birkaç 10 örneğim var. Deneyimli, ben sınıf etiketi doğru sadece birkaç özelliklerini kullanarak tahmin edilebilir olduğuna inanmak için iyi bir neden, ama hiçbir fikrim yok hangi olanları. Ayrıca, nihai karar kuralının yorumlanması / açıklanması kolay olmasını ve ayrıca az …

14 regression  logistic  multiple-comparisons  stepwise-regression 

Yakın tarihli bir makalede, üç yönlü sabit efekt modelleri taktım. Faktörlerden biri anlamlı olmadığı için (p> 0.1), onu kaldırdım ve iki sabit etki ve bir etkileşim ile modeli yeniden taktım. Alıntı yapmak için hakem yorumlarım oldu: Bu zaman, 3-yollu ANOVA'da önemli bir faktör değildi, zaman faktörünün bir araya getirilmesi için …

14 anova  fixed-effects-model 

R'de, drop1komut düzgün bir şey verir. Bu iki komut size bazı çıktılar vermelidir: example(step)#-> swiss drop1(lm1, test="F") Benimki şöyle: > drop1(lm1, test="F") Single term deletions Model: Fertility ~ Agriculture + Examination + Education + Catholic + Infant.Mortality Df Sum of Sq RSS AIC F value Pr(F) <none> 2105.0 190.69 Agriculture …

14 r  regression  self-study  stepwise-regression