İstatistikler ve Büyük Veri

AIC ile ilgili bazı sorularım var ve umarım bana yardımcı olabilirsiniz. Verilerimdeki AIC'ye dayalı olarak model seçimi (geri veya ileri) uyguladım. Seçilen değişkenlerin bazıları p değeri> 0,05 ile sonuçlandı. İnsanların p-değeri yerine AIC'ye dayalı modeller seçmemiz gerektiğini söylediklerini biliyorum, bu yüzden AIC ve p-değeri iki fark kavramıdır. Birisi bana farkın …

14 model-selection  p-value  aic 

Bir Metropolis örnekleyici (C ++) çalıştırıyorum ve yakınsama oranını tahmin etmek için önceki örnekleri kullanmak istiyorum. Bulduğum uygulaması kolay bir tanı , iki örnek aracı arasındaki farkı tahmin edilen standart hataya bölünen Geweke tanılamasıdır . Standart hata, spektral yoğunluktan sıfır olarak tahmin edilir. Zn= θ¯bir- θ¯B1nbirSbirθ^( 0 ) + 1nBSBθ^( …

14 mcmc  diagnostic 

Ben (qqplot kullanarak ve ggplot2 içine veri besleme), R yaklaşık 1.2 milyon puanlık iki veri seti ile bir QQ-komplo çizmek çalışıyorum. Hesaplama yeterince kolaydır, ancak sonuçta ortaya çıkan grafiğin yüklenmesi oldukça yavaştır, çünkü çok fazla nokta vardır. 10000 sayısını azaltmak için doğrusal yaklaşım denedim (veri kümeleriniz diğerinden daha büyükse, qqplot …

14 r  data-visualization  qq-plot 

Çekirdek yoğunluk tahmincisini kullanarak bir dizi gözlem temelinde yoğunluk fonksiyonunu tahmin etmem gerekiyor. Aynı gözlem kümesine dayanarak, çekirdek yoğunluk tahmin edicisinin türevlerini kullanarak yoğunluğun birinci ve ikinci türevlerini de tahmin etmem gerekiyor. Bant genişliği kesinlikle nihai sonuç üzerinde büyük bir etkiye sahip olacaktır. İlk olarak, KDE bant genişliğini veren birkaç …

14 r  nonparametric  pdf  kernel-smoothing 

Birisi sabit / rastgele efekt modellerini anlamama yardımcı olabilir mi? Bu kavramları sindirdiyseniz ya da beni herhangi bir karışıklık olmadan öğrenebilmem için belirli bir adresle (sayfa numarası, bölüm vb.) Kaynağa (kitap, notlar, web sitesi) yönlendirirseniz kendi yolunuzla açıklayabilirsiniz. Bu doğru mu? "Genel olarak sabit etkilerimiz var ve rastgele etkiler özel …

14 mixed-model  modeling  random-effects-model  fixed-effects-model 

Karışık bir model / lmer kullanmamla ilgili bir sorum var. Temel model şudur: lmer(DV ~ group * condition + (1|pptid), data= df) Grup ve koşul her iki faktördür: grup iki seviyeye (grup A, grup B) ve koşul üç seviyeye (koşul1, koşul2, koşul3) sahiptir. Bu, insan deneklerden elde edilen verilerdir, bu …

14 interaction  interpretation  lme4-nlme  model 

Bir veri setim var, ve . Aşağıdaki hipotezini test etmek olacaktır: bir tepe vardır ; yani arttıkça, önce artar ve sonra azalır.x y x yyyyxxxyyyxxxyyy İlk fikrim bir SLR'ye ve takmaktı. Daha önce katsayı bulmak Yani, eğer öncesi önemli ölçüde olumlu ve katsayı olup önemli ölçüde negatif sonra hipotezi için …

14 regression  statistical-significance  curves 

Reading mgcv::gamyardım sayfası: güven / güvenilir aralıklar, takılı bir model kullanılarak tahmin edilen herhangi bir miktar için kolayca kullanılabilir Ancak bir tane elde etmenin bir yolunu bulamıyorum. Ben predict.gambir type=confidenceve bir levelparametre olacağını düşündüm ama değil. Nasıl yaratılacağı konusunda bana yardım edebilir misin?

14 r  confidence-interval  gam 

Bayesci Çıkarım yapmak için hangi yazılım istatistik paketini önereceğinizi merak ediyordum. Örneğin, openBUGS veya winBUGS'yi bağımsız olarak çalıştırabileceğinizi veya bunları R'den de çağırabileceğinizi biliyorum. Ancak R'nin bayes analizi yapabilen kendi paketleri (MCMCPack, BACCO) da var. Herkesin R'deki hangi bayes istatistik paketinin en iyi olduğu veya diğer alternatifler (Matlab veya Mathematica) …

14 r  probability  bayesian  inference  bugs 

Standart sapmanın tarafsız tahmininin hesaplandığını ve okuduğum kaynağın (...) bazı önemli durumlar dışında, görev, istatistik uygulamalarıyla çok az ilişkilidir, çünkü önem testlerinin ve güven aralıklarının kullanılması gibi standart prosedürlerle veya Bayes analizi kullanılarak ihtiyaçtan kaçınılır. Herkes bu ifadenin ardındaki mantığı aydınlatabilir mi diye merak ediyordum, örneğin güven aralığı standart sapmayı …

14 bayesian  statistical-significance  mathematical-statistics  standard-deviation  standard-error 

Kınamak için emlak fiyatları (kişisel proje) tahmin etmek için bir YSA oluşturmak için R nnet paketini kullanıyorum. Ben bu konuda yeniyim ve matematik geçmişim yok, bu yüzden lütfen bana çıplak. Hem ikili hem de sürekli girdi değişkenleri var. Örneğin, başlangıçta evet / hayır olan bazı ikili değişkenler, sinir ağı için …

14 r  machine-learning  data-transformation  neural-networks  nnet 

Diyelim ki normalize edilmiş bir karşı gerilemek istiyorum , ancak seyrek bir çözüm istiyorum. Regresyondan sonra, neden en küçük büyüklükteki katsayıların atılmasına izin verilmiyor?XYYYXXX Kayıt için, LARS ve LASSO yöntemlerini duydum ve sıklıkla kullanıyorum. Yukarıdaki yaklaşımın neden geçerli olmadığını merak ediyorum.

14 regression  regression-coefficients 

Diyelim ki bağımsız veY =( Y1, … , Yn)'Y=(Y1,…,Yn)′ \textbf{Y} = (Y_1, \dots, Y_n)' Yben= 0Yben= kolasılıkla p ben+ ( 1 - pben) e- λbenolasılıkla ( 1 - p ben) e- λbenλkben/ k!Yi=0with probability pi+(1−pi)e−λiYi=kwith probability (1−pi)e−λiλik/k!\eqalign{ Y_i = 0 & \text{with probability} \ p_i+(1-p_i)e^{-\lambda_i}\\ Y_i = k & \text{with …

14 poisson-regression  zero-inflation 

Aşağıdaki veriler var ve buna negatif üstel büyüme modeli sığdırmak istiyorum: Days <- c( 1,5,12,16,22,27,36,43) Emissions <- c( 936.76, 1458.68, 1787.23, 1840.04, 1928.97, 1963.63, 1965.37, 1985.71) plot(Days, Emissions) fit <- nls(Emissions ~ a* (1-exp(-b*Days)), start = list(a = 2000, b = 0.55)) curve((y = 1882 * (1 - exp(-0.5108*x))), from …

14 r  nonlinear-regression  fitting  nls 

sonucunuz olan ve bunun bir dizi belirleyicisiyle nasıl ilişkili olduğu klasik bir veri analizi problemini düşünün . Burada akla gelen temel uygulama türü X, i 1 , . . . , X i pYiYiY_{i}Xi1,...,XipXi1,...,XipX_{i1}, ..., X_{ip} YiYiY_{i} , kentindeki suç oranı gibi grup düzeyinde bir sonuçtur .iii Tahmini, şehir demografik …

14 regression  measurement-error  errors-in-variables