İstatistikler ve Büyük Veri

Bu soruyu dün StackOverflow'da sordum ve bir cevap aldım, ancak biraz acayip göründüğünü ve ona bakmanın daha iyi bir yolu olabileceğini kabul ettik. Soru: Bir vektör için Newey-West (HAC) standart hatalarını hesaplamak istiyorum (bu durumda bir stok vektörü). Fonksiyon NeweyWest()olarak sandwichpaketin yapar, ancak bir alan lm, bir giriş olarak bir …

13 r  standard-error  autocorrelation  heteroscedasticity 

L1 düzenli lineer regresyonu takmak için koordinat inişine karşı LARS [1] kullanmanın avantajları ve dezavantajları nelerdir? Ben esas olarak performans yönleriyle ilgileniyorum (sorunlarım Nyüzbinlerce ve p<20'de olma eğilimindedir ). Ancak, diğer görüşler de takdir edilecektir. edit: Soruyu gönderdiğimden beri, chl, Friedman ve arkadaşları tarafından koordinat inişinin diğer yöntemlerden önemli ölçüde …

13 regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

SPSS'deki bir veri kümesine aşamalı bir lojistik regresyon uyguluyorum. Prosedürde, modelimi yaklaşık olarak rastgele bir alt kümeye uyduruyorum. Toplam numunenin% 60'ı, bu da yaklaşık 330 vakadır. İlginç bulduğum şey, verilerimi her yeniden örneklediğimde, son modele giren ve çıkan farklı değişkenler alıyorum. Son modelde her zaman birkaç belirleyici bulunur, ancak diğerleri …

13 logistic  spss  stepwise-regression 

Şu anda üniversitemde tanıtım istatistikleri dersinde (tıp öğrencileri için) öğretim görevlisi olarak çalışıyorum. Çevrimdışı, öğretmene yardımcı olmak için bilgi içeren birçok kitap var. Ancak, ilgilendiğim şey, beni , çevrimiçi olarak mevcut olan istatistiklerde (çözümlerle) egzersizler sağlayan (iyi) kaynaklara yönlendirip yönlendiremeyeceğinizdir. (örneğin: öğretmen notları). Söz konusu materyal tanımlayıcı istatistikler, olasılık ve …

13 probability  references  inference  descriptive-statistics  teaching 

Bir grup gayrimenkul raporlaması yapıyorum ve özellikle NAR (Ulusal Emlakçılar Birliği) tarafından medyan fiyat genellikle rapor ediliyor. En iyi ben söyleyebilirim, onlar sadece her alandan gayrimenkul fiyatları medyan olsun. Benim sorum, veri kısıtlamaları göz önüne alındığında, ulusal medyan nasıl hesaplanmalıdır? Bir ortanca medyanı olarak, basit bir ortanca ortalama veya ağırlıklı …

13 median 

Kabaca sıfır etrafında ortalanmış iki veri setim var, ancak farklı kuyrukları olduğundan şüpheleniyorum. Dağılımın normal bir dağılımla karşılaştırılması için birkaç test biliyorum, ancak doğrudan iki dağılımı karşılaştırmak istiyorum. 2 dağılım kuyruğunun şişmanlığını karşılaştırmak için basit bir test var mı ? Teşekkürler FR

13 hypothesis-testing  distributions  kurtosis  fat-tails 

Bu naif bir soru olabilir, ama başlıyoruz. Bir dizi ampirik verim varsa ve buna bir çekirdek yoğunluğu sığdırır ve daha sonra orijinal veri kümesini oluşturan aynı işlemden gelen yeni bir tek değer elde edersem, bu yeni değerin kümeye ait olması olasılığı atayabilir miyim eksenindeki yeni değerin çekirdek yoğunluk çizgisiyle kesiştiği …

13 kde 

Bir MCMC zinciri için yanma seçimini otomatikleştirmek istiyorum, örneğin bir yakınsama teşhisine dayanan ilk n satırı kaldırarak. Bu adım ne ölçüde güvenli bir şekilde otomatikleştirilebilir? Otokorelasyonu, mcmc izini ve pdfs'yi hala iki kez kontrol etsem bile, yanma uzunluğu seçiminin otomatik hale getirilmesi güzel olurdu. Sorum genel, ama bir R mcmc.object …

13 r  bayesian  mcmc 

Lojistik bir model kullanıyorum. Gerçek model veri kümesinin 100'den fazla değişkeni var, ancak yaklaşık 25 değişkenin bulunduğu bir test veri kümesi seçiyorum. Ondan önce 8-9 değişkenli bir veri kümesi de yaptım. AIC ve SC değerlerinin modeli karşılaştırmak için kullanılabileceği söylendi. Değişkenin düşük p değerleri olsa bile modelin daha yüksek SC …

13 model-selection  logistic  aic 

Bırakın böylece gibi çok kısa bir örnek için hesaplanabilir ikili farklılıkların sırası statikini bulmaktan : { 1 , 3 , 6 , 2 , 7 , 5 } kSn= Cn. { | Xben- Xj| ; i&lt;j }( k )Qn=Cn.{|Xi−Xj|;i&lt;j}(k)Q_n = C_n.\{|X_i-X_j|;i < j\}_{(k)}{ 1 , 3 , 6 , 2 …

13 data-transformation  scales  robust  optimal-scaling 

Etkileşimleri içeren çok değişkenli bir regresyonum var. Örneğin, en zayıf beşte birlik kısım için tedavi etkisinin tahminini elde etmek için, tedavi regresöründen katsayıları etkileşim değişkeninden (tedavi ve beşinci madde ile etkileşen) katsayıya eklemem gerekir. Bir regresyondan iki katsayı eklerken standart hatalar nasıl elde edilir? İki katsayıdan standart hatalar eklemek mümkün …

13 regression  standard-deviation  standard-error 

Birçok Paralel koordinat grafiği okudum ve gördüm. Birisi aşağıdaki soruları cevaplayabilir mi: Bir layman'ın anlayabilmesi için basit sözcüklerle paralel koordinat grafikleri (PCP) nedir? Mümkünse bazı sezgilerle matematiksel bir açıklama PCP ne zaman yararlıdır ve ne zaman kullanılır? PCP ne zaman yararlı değildir ve ne zaman kaçınılmalıdır? PCP'nin olası avantajları ve …

13 r  data-visualization 

Soru: Bir ortak değişkenin etkisi için ayarlama yaptıktan sonra grup araçları arasındaki farklılıkların post hoc testlerini yapmak için iyi bir yöntem nedir? Prototip örneği: Dört grup, grup başına 30 katılımcı (ör. Dört farklı klinik psikoloji popülasyonu) Bağımlı Değişken sayısaldır (ör. Zeka puanları) Ortak değişken sayısaldır (örneğin, sosyoekonomik durum endeksi) Araştırma …

13 anova  multiple-comparisons  ancova 

Kapalı. Bu soru konu dışı . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Sorunuzu güncelleyin o yüzden -konu üzerinde Çapraz doğrulanmış için. 6 ay önce kapalı . Güçlendirilmiş karar ağaçlarının eğitimi için iyi bir python kütüphanesi var mı?

13 python  cart  boosting 

Diyelim ki 50 milyon eşsiz şeyden oluşan bir popülasyonum var ve 10 milyon örnek alıyorum (değiştirerek) ... İlk grafik ekli olduğum, aynı "şeyi" kaç kez örneklediğimi gösteriyor. popülasyon örneklemden daha büyük. Ancak popülasyonum sadece 10 milyon şeyse ve 10 milyon örnek alırsam, ikinci grafikte aynı şeyi tekrar tekrar örnekleyeceğim. Benim …

13 r  sampling  expectation-maximization