İstatistikler ve Büyük Veri

Birçok parametreli bir veri kümesini analiz ediyorum (örneğin, 50-200) ve değişkenler arasındaki ilişkilere bakmakla ilgileniyorum (örneğin, 2 değişkenli dağılım grafikleri veya 2d histogramları açısından). Bununla birlikte, bu sayıda parametre için 200x200'lik bir dizi grafik çizmek mümkün görünmemektedir (yazdırıp bir duvara asmadıkça). Öte yandan, sadece bir korelasyon matrisi yapmak 2 değişkenli …

10 correlation  data-visualization  multivariate-analysis  scatterplot 

Ben spdep paketini kullanarak R bazı keşif mekansal analiz ile çalışıyorum. Ben fonksiyonu kullanarak hesaplanan mekansal ilişki (LISA) yerel göstergelerin p -değerlerini ayarlamak için bir seçenek geldi localmoran. Dokümanlara göre: ... çoklu testler için olasılık değer ayarı. Ayrıca dokümanlar da p.adjustSPmevcut seçeneklerin: Ayarlama yöntemleri arasında p değerlerinin karşılaştırma sayısı ile …

10 r  multiple-comparisons  bonferroni 

ve sınıflandırma problemi için iki öğrenme yöntemim olduğunu ve genelleme performanslarını tekrarlanan çapraz doğrulama veya önyükleme gibi bir şeyle tahmin ettiğimi varsayalım. Bu işlemden , bu tekrarlar boyunca her yöntem için ve puanlarının bir dağılımını elde ederim (örneğin, her model için ROC AUC değerlerinin dağılımı).B P A P BAAABBB PAPAP_APBPBP_B …

10 cross-validation  model-selection 

Blogunda, Larry Wasserman'ın geçen sonbaharda kursu planladığı konu hakkında bir yazı var. Daha modern konular lehine bazı klasik konuları terk ettiğini belirtiyor. Bahsettiği bir konu Hoeffding eşitsizliğidir. Bu sonucu öğrenciler ve uygulayıcılar için özellikle önemli kılan nedir?

10 probability-inequalities 

Belki bu sorunun tıpta cevabı vardır, ancak BMI indeksinin olarak hesaplanmasının istatistiksel nedenleri var mı? Neden sadece ağırlık / boy değil ? İlk fikrim, bunun kuadratik regresyonla ilgisi olduğu.ağırlık / boy2weight/height2\text{weight}/\text{height}^2ağırlık / boyweight/height\text{weight}/\text{height} Gerçek veri örneği (ağırlık, boy, yaş ve cinsiyete sahip 200 kişi): structure(list(Age = c(18L, 21L, 17L, 20L, …

10 biostatistics 

Çok seviyeli modellemeye karşı ayrı model çalıştırmanın avantajları ve dezavantajları nelerdir? Daha özel olarak, bir çalışmanın, ülkedeki doktor uygulamalarında yuvalanmış hastaları incelediğini varsayalım. Üç seviyeli iç içe bir modele kıyasla her ülke için ayrı modeller çalıştırmanın avantajları / dezavantajları nelerdir?

10 multilevel-analysis  stratification 

Ben ikili bir sonuç (başlangıç ​​ve başlangıç ​​değil) ile lojistik regresyon yürütüyorum. Öngörücüler karışımımın tamamı sürekli veya ikilik değişkenler. Box-Tidwell yaklaşımını kullanarak, sürekli tahmincilerimden biri, logitin doğrusallığı varsayımını potansiyel olarak ihlal ediyor. Uyum iyiliği istatistiklerinden uyumun sorunlu olduğuna dair bir belirti yoktur. Daha sonra, orijinal sürekli değişkeni ikame ile değiştirerek …

10 regression  logistic  references  assumptions  robust 

Olasılık yoğunluğu fonksiyonlarının zaman serilerini tahmin etme konusunda biraz araştırma yapıyorum. Tarihsel olarak gözlemlenen (genellikle tahmin edilen) bir PDF'yi öngörmeyi hedefliyoruz. Geliştirdiğimiz tahmin yöntemi, simülasyon çalışmalarında oldukça iyi bir performans sergiliyor. Ancak, yöntemimizi daha fazla açıklamak için gerçek uygulamalardan sayısal bir örneğe ihtiyacım var. Peki, PDF'lerin bir zaman dizisinin toplandığı …

10 time-series  forecasting  functional-data-analysis 

Aşağıdaki şekilde boyutundaki bir popülasyondan veri örneklemeyi düşünün :NNNk=1,...,Nk=1,...,Nk=1, ..., N Bireysel "hastalık" durumunu gözlemlemekkk Hastalıkları varsa, bunları olasılığı olan numuneye ekleyinpk1pk1p_{k1} Hastalığı yoksa, bunları olasılığı ile dahil edin .pk0pk0p_{k0} Bir ikili sonuç değişkeni gözlenen varsayalım ve belirleyici vektörü için, konular bu şekilde örneklenmiş. Sonuç değişkendir değil "hastalık" durumu. Lojistik …

10 logistic  case-control-study 

Bir öngörücüye sahip en küçük kareler için: y= βx + ϵy=βx+εy = \beta x + \epsilon Eğer ve montajdan önce standart (yani ), o zaman:xxxyyy∼ N( 0 , 1 )~N-(0,1)\sim N(0,1) ββ\beta , Pearson korelasyon katsayısı ile aynıdır, .rrr ββ\beta yansıyan regresyonda aynıdır:x = βy+ ϵx=βy+εx = \beta y + …

10 regression  correlation  least-squares  generalized-least-squares 

Bir veri kümesi üzerinde çalışıyorum. Bazı model tanımlama tekniklerini kullandıktan sonra bir ARIMA (0,2,1) modeliyle çıktım. Orijinal veri setimin 48. gözleminde yenilikçi bir aykırı değer (IO) tespit etmek için R'deki detectIOpaketteki işlevi kullandım .TSA Öngörme amacıyla kullanabilmem için bu aykırı değeri modelime nasıl dahil edebilirim? ARIMAX modelini kullanmak istemiyorum çünkü …

10 r  time-series  arima  outliers  hypergeometric  fishers-exact  r  time-series  intraclass-correlation  r  logistic  glmm  clogit  mixed-model  spss  repeated-measures  ancova  machine-learning  python  scikit-learn  distributions  data-transformation  stochastic-processes  web  standard-deviation  r  machine-learning  spatial  similarities  spatio-temporal  binomial  sparse  poisson-process  r  regression  nonparametric  r  regression  logistic  simulation  power-analysis  r  svm  random-forest  anova  repeated-measures  manova  regression  statistical-significance  cross-validation  group-differences  model-comparison  r  spatial  model-evaluation  parallel-computing  generalized-least-squares  r  stata  fitting  mixture  hypothesis-testing  categorical-data  hypothesis-testing  anova  statistical-significance  repeated-measures  likert  wilcoxon-mann-whitney  boxplot  statistical-significance  confidence-interval  forecasting  prediction-interval  regression  categorical-data  stata  least-squares  experiment-design  skewness  reliability  cronbachs-alpha  r  regression  splines  maximum-likelihood  modeling  likelihood-ratio  profile-likelihood  nested-models 

Basit bir örnek uğruna iki doğrusal regresyon modeli olduğunu varsayalım. Model 1 sahiptir üç belirleyicileri x1a, x2bvex2c Model 2, model 1'den üç öngörücüye ve iki ek öngörücüye sahiptir x2avex2b Kitle varyansı olduğu açıklanmıştır nüfus regresyon denklemi vardır Model 1 için ve Model 2 için artan varyans nüfus içinde Model 2 …

10 regression  confidence-interval  estimation  r-squared  shrinkage  anova  t-test  references  tukey-hsd  machine-learning  boosting  r  clustering  fishers-exact  generalized-linear-model  model  probit  link-function  r  survival  probability  distributions  dice  logistic  lme4-nlme  glmm  meta-analysis  distributions  distributions  factor-analysis  r  anova  repeated-measures  post-hoc 

Son zamanlarda, SPSS ve Stata tarafından sağlanan basıklık değerlerinde farklılıklar olduğunu fark ettim. Bkz. Http://www.ats.ucla.edu/stat/mult_pkg/faq/general/kurtosis.htm Benim anlayışım, bunun yorumunun farklı olacağıdır. Bununla nasıl başa çıkacağınıza dair herhangi bir tavsiye var mı?

10 spss  stata  interpretation  kurtosis 

R'de yoğunluk grafiğini çizdim ve grafiğin altında bant genişliği sayısı. Bu sayı ne anlama geliyor?

10 r 

Kategorik rasgele bir etkinin karışık etkiler modeli üzerindeki etkisini, gözlemlerin rasgele etki seviyesine göre kısmi bir havuzda toplaması, gözlemlerin kendilerinin bağımsız olmadığını ancak sadece kısmi havuzlarının etkili olduğunu varsayarak etkisini anlıyorum. Ayrıca benim anlayışımla, aynı rastgele etki seviyesini paylaşan ancak sabit etki seviyelerinde farklılık gösteren böyle bir model gözlemde, hem …

10 mixed-model  random-effects-model