İstatistikler ve Büyük Veri

Çok fazla gürültüye sahip uzun, yüksek çözünürlüklü bir zaman serimiz varsa, neler olduğunu daha iyi anlamak ve bazılarını etkili bir şekilde kaldırmak için verileri daha düşük bir çözünürlüğe (örneğin günlük / aylık değerler) toplamak genellikle mantıklıdır. gürültü. Daha sonra bir de dahil olmak üzere toplu veri bazı istatistikleri geçerli en …

12 time-series  aggregation 

Doğal (yani kısıtlı) kübik kamalar kullanıldığında, oluşturulan temel fonksiyonlar yüksek oranda eşbiçimlidir ve bir regresyonda kullanıldığında çok doğrusallık gösteren çok yüksek VIF (varyans enflasyon faktörü) istatistikleri üretiyor gibi görünmektedir. Tahmin amaçlı bir model söz konusu olduğunda, bu bir sorun mudur? Kama yapısının doğası nedeniyle her zaman böyle olacak gibi görünüyor. …

12 multiple-regression  generalized-linear-model  predictive-models  multicollinearity  splines 

Verileri ilişkilendirdim ve ilgilenilen bir yordayıcı için bireysel seviye (koşullu) etkiyi tahmin etmek için bir lojistik regresyon karma efekt modeli kullanıyorum. Standart marjinal modeller için Wald testini kullanan model parametreleri üzerindeki çıkarımın olasılık oranı ve skor testleri için tutarlı olduğunu biliyorum. Genellikle yaklaşık aynıdırlar. Wald'ın hesaplanması kolay olduğundan ve R …

12 logistic  mixed-model  inference 

Aşağıdaki ifadeden şaşkınım: "Bir sayı kümesinin standart sapmasını artırmak için, ortalamadan uzağa birden fazla standart sapma olan bir değer eklemelisiniz" Bunun kanıtı nedir ? Tabii ki standart sapmayı nasıl tanımladığımızı biliyorum ama bu kısmı bir şekilde özlüyorum. Herhangi bir yorum?

12 standard-deviation 

İşletmemin sattığı gaz kelebeği konum sensörlerini (TPS) test ediyorum ve gaz kelebeği milinin dönüşüne voltaj tepkisi grafiğini yazdırıyorum. Bir TPS, 90 ° aralıklı bir dönel sensördür ve çıkış, tam açıklığı 5V (veya sensörün giriş değeri) ve başlangıç ​​açıklığı 0 ile 0,5V arasında bir değer olan bir potansiyometre gibidir. Her 0.75 …

12 terminology 

Daha spesifik olarak, modeller iç içe yerleştirilmişse, olasılık oranı testlerinin neden asimptotik olarak bir dağılımı vardır, ancak iç içe geçmiş olmayan modeller için durum artık böyle değildir? Bunun Wilks teoreminden geldiğini anlıyorum, ancak maalesef kanıtını anlamıyorum .χ2χ2\chi^2

12 likelihood-ratio  nested-models 

Ben işlevi bir izlenimi lmer()de lme4paketin p-değerleri (bkz vermedi lmer, p-değerleri ve tüm bu ). MCMC oluşturulan p değerleri yerine şu soruya göre kullanıyorum: Karışık model ve bu soruda önemli etkisilme4 : içinde paketinde gelen p-değerleri bulunamıyorlmer()lm4R . Son zamanlarda modelimingetSummary.mer() sabit efektlerini bir csv dosyasına almak için memisc ve …

12 r  mixed-model  p-value  mcmc  lme4-nlme 

Let kestiricinin Bayes riski ifade eden önceki bakımından , let parametre alanı üzerindeki tüm sabıkası kümesini göstermek ve let kümesi göstermek tüm (muhtemelen rastgele) karar kuralları.δ π Π Θ Δr(π,δ)r(π,δ)r(\pi, \delta)δδ\deltaππ\piΠΠ\PiΘΘ\ThetaΔΔ\Delta John von Neumann'ın minimaks eşitsizliğinin istatistiksel yorumu, supπ∈Πinfδ∈Δr(π,δ)≤infδ∈Δsupπ∈Πr(π,δ),supπ∈Πinfδ∈Δr(π,δ)≤infδ∈Δsupπ∈Πr(π,δ), \sup_{\pi\in\Pi} \inf_{\delta\in\Delta} r(\pi, \delta) \leq \inf_{\delta\in\Delta}\sup_{\pi\in\Pi} r(\pi, \delta), \ Theta ve …

12 bayesian  decision-theory  risk 

Parametrik olmayan testlerin parametrik alternatiflerinden daha az güce sahip oldukları varsayılırsa, bu herhangi bir parametrik testin null değerini reddetmediği, parametrik olmayan alternatifinin null değerini reddetmediği anlamına mı gelir? Parametrik test varsayımları karşılanmazsa ve test yine de kullanılırsa bu nasıl değişebilir?

12 hypothesis-testing  nonparametric  parametric 

Bu sorunun ruhu içinde , Hoeffding eşitsizliğinde kullanılan bir lemmanın kanıtını anlayarak, Hoeffding eşitsizliğine yol açan adımları anlamaya çalışıyorum. Kanıtta benim için en gizemli olan şey, iid değişkenlerinin toplamı için üstel anların hesaplandığı, daha sonra Markov'un eşitsizliğinin uygulandığı kısımdır. Amacım anlamak: Bu teknik neden sıkı bir eşitsizlik veriyor ve başarabileceğimiz …

12 probability  probability-inequalities 

Bazı kod ve çıktı var ve bir model oluşturmak istiyorum. Bu çıktıyı kullanarak bir model oluşturmak nasıl bilmiyorum: require("splines") x <- c(0.2, 0.23, 0.26, 0.29, 0.33, 0.46, 0.53 ) y <- c(0.211, 0.2026, 0.2034, 0.2167, 0.2177, 0.19225, 0.182) fit <- lm(y ~ ns(x,3)) summary(fit) Not ns()doğal kübik eğri B-parça baz …

12 r  splines 

Probit ve logit gibi ikili modellerde ofsetin nasıl çalıştığının bir türevi var mı? Benim sorunumda, takip penceresinin uzunluğu değişebilir. Hastaların tedavi olarak profilaktik bir atış yaptığını varsayalım. Atış farklı zamanlarda gerçekleşir, bu nedenle sonuç herhangi bir alevlenmenin olup olmadığının ikili bir göstergesi ise , bazı kişilerin semptomları göstermek için daha …

12 logit  probit  logarithm  offset 

Kapalı. Bu soru konu dışı . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Sorunuzu güncelleyin o yüzden -konu üzerinde Çapraz doğrulanmış için. 6 yıl önce kapalı . Bir süredir sorunsuz bir şekilde R için verilerimi saklamak için metin dosyaları kullanıyorum. Ancak yeni bir proje için dosyaların boyutları …

12 r  dataset 

Açıklama: Her biri 1 veya daha fazla sınıfa ait bir dizi özellik vektörü olduğunda sorunlu alan adı belge sınıflandırması olsun. Örneğin, bir belge ve kategorilere doc_1ait olabilir .SportsEnglish Soru: Sınıflandırma için sinir ağı kullanmak, etiket bir özellik vektörü için ne olurdu? ilgili olmayan sınıflara 0, ilgili sınıflara 1 değer verilecek …

12 machine-learning  neural-networks  natural-language  multilabel 

Verilerdeki gizli durumların sayısını tahmin etmek için bir Gizli Markov Modeli (HMM) sığdırmaya çalıştığım bir zaman serisi veri var. Bunu yapmak için sahte kodum şudur: for( i in 2 : max_number_of_states ){ ... calculate HMM with i states ... optimal_number_of_states = "model with smallest BIC" ... } Şimdi, her zamanki …

12 r  aic  hidden-markov-model  bic  spss  manova  time-series  r  lme4-nlme  regression  modeling  negative-binomial  bayesian  bugs  state-space-models  hypothesis-testing  data-transformation  factor-analysis  sem