İstatistikler ve Büyük Veri

PCA tekniğini kullanarak bir sosyal sermaye endeksi oluşturdum. Bu indeks hem pozitif hem de negatif değerleri içerir. Bu dizini yorumlamayı kolaylaştırmak için 0-100 ölçeğine dönüştürmek / dönüştürmek istiyorum. Lütfen bana bunu yapmanın en kolay yolunu önerin.

20 data-transformation  scales 

Normal bir dağılımı tahmin etmek için saf bir yöntem , [ 0 , 1 ] üzerine eşit olarak dağıtılmış belki 100100100 IID rastgele değişkeni bir araya getirmek , sonra Merkezi Limit Teoremine dayanarak yeniden girmek ve yeniden ölçeklendirmektir. ( Yan not : Box-Muller dönüşümü gibi daha doğru yöntemler vardır .) …

20 normal-distribution  central-limit-theorem  moments  approximation 

İki oranım var (örneğin, bir kontrol düzenindeki bir bağlantıda tıklama oranı (TO) ve deneysel bir düzendeki bir bağlantıda TO) ve bu oranların oranı etrafında% 95'lik bir güven aralığı hesaplamak istiyorum. Bunu nasıl yaparım? Bu oranın varyansını hesaplamak için delta yöntemini kullanabileceğimi biliyorum, ama bunun dışında ne yapacağımdan emin değilim. Güven …

20 confidence-interval 

Her biri örnek içeren iki popülasyonum var (erkekler ve kadınlar) . Her örnek için iki A ve B özelliğim var (birinci sınıf not ortalaması ve SAT puanı). A & B için ayrı bir t testi kullandım: her ikisi de iki grup arasında anlamlı farklılıklar buldu; A, ve B, .p = …

20 statistical-significance  t-test  p-value  effect-size 

(Bunu neden yazdığımı görmek için, bu soruya verdiğim yanıtın altındaki yorumları kontrol edin .) Tip III hataları ve istatistiksel karar teorisi Yanlış soruya doğru cevabı vermek bazen Tip III hatası olarak adlandırılır. İstatistiksel karar teorisi, karar almanın belirsizlik altında resmileştirilmesidir; tip III hatalarından kaçınmaya yardımcı olabilecek kavramsal bir çerçeve sağlar. …

20 bayesian  credible-interval  decision-theory 

Bir kişinin yoğunluğu olan bir dağılımdan dağıtıldığı bir , Hellinger mesafesinin yoğunluğu olan başka bir dağılıma yani tarafsız bir tahmincisi ( ' dayalı) olup olmadığını merak ediyorum. f X i f 0 H ( f , f 0 ) = { 1 - ∫ X √X1,…,XnX1,…,XnX_1,\ldots,X_nfffXiXiX_if0f0f_0H(f,f0)={1−∫Xf(x)f0(x)−−−−−−−−√dx}1/2.H(f,f0)={1−∫Xf(x)f0(x)dx}1/2. \mathfrak{H}(f,f_0) = \left\{ 1 …

20 pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger 

AdaBoost'un (veya diğer arttırıcı tekniklerin) diğer öğrenme yöntemlerine kıyasla daha az veya daha fazla uyuma eğilimli olup olmadığı konusunda çeşitli (görünüşte) çelişen ifadeler okudum. Birine ya da diğerine inanmak için iyi nedenler var mı? Eğer bağlıysa, neye bağlıdır? AdaBoost'un aşırı sığmaya daha az / daha eğilimli olmasının nedenleri nelerdir?

20 machine-learning  boosting 

Deney tasarımında blok kavramı hakkında iki sorum var: (1) Bir blok ve bir faktör arasındaki fark nedir? (2) Bazı kitapları okumaya çalıştım ama bir şey net değil: yazarlar her zaman "blok faktörü" ile diğer faktörler arasında herhangi bir etkileşim olmadığını varsayıyorlar, doğru mu?

20 experiment-design  interaction  interpretation 

Ben veri madenciliği / makine öğrenimi / vb. ve tahminleri iyileştirmek için aynı modelin birden fazla modelini ve çalışmasını birleştirmenin birkaç yolunu okuyor. Birkaç makaleyi okuduğum izlenimim (teori ve yunan harfleri üzerinde genellikle ilginç ve harika, ancak kod ve gerçek örnekler üzerinde kısa) şu şekilde olması gerekiyor: Bir model ( …

20 r  random-forest  k-nearest-neighbour  ensemble 

, İki değişken (eşit numune boyutu) sahip olması kanıtlamak lütfen XXX ve YYY ve varyans olarak XXX içinde daha büyük olan YYY , o zaman karesi farklarının toplamı olan veri noktaları arasında (Öklit mesafeleri kare örneğin) XXX , aynı zamanda daha büyük içinde YYY.

20 variance  distance 

caretÇeşitli modelleme prosedürlerini test etmek için R'deki kütüphaneyi kullanıyorum . trainControlNesne bir yeniden örnekleme yöntemini belirtmek için olanak sağlar. Yöntemler, aşağıdakilerde anlatılmıştır belgeler bölüm 2.3 ve şunları içerir: boot, boot632, cv, LOOCV, LGOCV, repeatedcvve oob. Bunlardan bazılarının çıkarılması kolay olsa da, bu yöntemlerin hepsi açıkça tanımlanmamıştır. Bu yeniden örnekleme yöntemlerine …

20 r  resampling  caret 

R 'de lme4 paketini kullanarak karışık efektler modelleme bakıyordum. Öncelikle lmerkomutu kullanıyorum, bu yüzden bu sözdizimini kullanan kod aracılığıyla sorumu ortaya koyacağım . Genel olarak kolay bir soru olabilir lmer, aynı veri kümelerine dayalı olabilirlik oranlarını kullanarak oluşturulmuş herhangi iki modeli karşılaştırmak uygun mudur? Bunun cevabının "hayır" olması gerektiğine inanıyorum, …

20 r  mixed-model  lme4-nlme  likelihood-ratio 

Aşağıdakilerin anlamlı olup olmadığı konusunda herkes tavsiyede bulunabilir mi? 4 öngörücülü sıradan bir doğrusal model ile uğraşıyorum. En az önemli terimi bırakıp bırakmamam iki aklımdayım. It adlı -değeri 0.05 biraz fazla olduğunu. Bu satırlar boyunca bırakmayı tercih ettim: Bu terimin tahmininin (örneğin) bu değişken için örnek verilerinin çeyrekler arası aralığı …

20 regression  model-selection 

İlişkili değişkenleri seçmek için iki yaygın yaklaşım, önem testleri ve çapraz validasyondur. Her biri hangi sorunu çözmeye çalışıyor ve ne zaman diğerini tercih ederim?

20 cross-validation  feature-selection 

Parametrik ve parametrik olmayan herhangi bir istatistiksel test var mı? Bu soru bir görüşme paneli tarafından sorulmuştur. Geçerli bir soru mu?

20 nonparametric  terminology  parametric