İstatistikler ve Büyük Veri

Breiman, ağaçların budama olmadan büyüdüğünü söylüyor. Niye ya? Demek istediğim, rastgele ormandaki ağaçların budamamasının sağlam bir nedeni olmalı. Öte yandan, fazla oturmamak için tek bir karar ağacının budanması çok önemlidir. Bu nedenle okunabilecek bazı literatür var mı? Tabii ki ağaçlar birbiriyle ilişkili olmayabilir ancak yine de aşırı uyum olasılığı vardır.

20 machine-learning 

gözlemlerinin normal olarak dağıtıldığı gerçeğine dayanan bir algoritma üzerinde çalışıyorum ve algoritmanın bu varsayımın sağlamlığını ampirik olarak test etmek istiyorum.YYY Bunu yapmak için , normalliğini aşamalı olarak bozacak bir dizi dönüşüm . Örneğin s normal sahip oldukları çarpıklık ve basıklık , ve progresif olarak artırmaya dönüşümün bir dizi bulmaya iyi …

20 data-transformation  normality-assumption  skewness  kurtosis 

Belirli değişken türlerine ilişkin veriler, belirli popülasyonlarda ölçüldüğünde normal değildir (örn. Majör Depresif Bozukluğu olan bir popülasyonda depresyon seviyeleri). Pearson'un normallik olduğunu varsayarsak, normallik dışı koşullar altında test istatistiği ne kadar sağlamdır? Ben korelasyon katsayıları için istiyorum bir dizi değişken var, ama bu değişkenlerin bazıları için Z çarpıklığı p <.001 …

20 correlation 

Farz edin ki 20 farem var. Fareleri bir şekilde eşleştiriyorum, böylece 10 çift elde ederim. Bu sorunun amacı için, rastgele bir eşleştirme olabilir, VEYA aynı çöpten, aynı cinsiyetten, benzer ağırlıkta fareleri eşleştirmeye çalışmak gibi mantıklı bir eşleştirme olabilir, VEYA kasten aptal bir eşleştirme olabilir fareleri olabildiğince eşit olmayan ağırlıklar ile …

20 t-test  paired-data 

Jüri görevine çağrıldım. İstatistiklerin bazı jüri duruşmalarıyla ilgisinin farkındayım. Örneğin, "taban ücret" kavramı ve olasılık hesaplamalarına uygulanması bazen - belki de her zaman - önemlidir. Durumumdaki bir kişi hangi istatistiksel konuları yararlı bir şekilde inceleyebilir ve geçmişim olan biri için hangi materyaller uygun olur? Bir "sert bilim" derecem var ve …

20 probability  bayesian  references 

1/4Heterossedastisitenin bir sonucu olarak yanıt değişkenimde dördüncü root ( ) güç dönüşümü kullanıyorum . Ama şimdi regresyon katsayılarımı nasıl yorumlayacağımdan emin değilim. Geri dönüşümü yaparken katsayıları dördüncü güce götürmem gerektiğini varsayıyorum (regresyon çıktısının altına bakınız). Tüm değişkenler milyonlarca dolar cinsindendir, ancak milyarlardaki dolar değişimini bilmek istiyorum. Diğer bağımsız değişken sabit …

20 regression  data-transformation 

Artıkların zamana karşı bir grafiğini çizmek gibi görünen bazı verilerim var, neredeyse normal ama emin olmak istiyorum. Hata kalıntılarının normalliğini nasıl test edebilirim?

20 hypothesis-testing  normal-distribution  assumptions 

Bir dizi tamamlanmış veri kümesi elde etmek için çoklu gösterim kullandım. Bir parametre (rastgele etki) için posterior dağılımlar elde etmek için tamamlanmış veri kümelerinin her birinde Bayesian yöntemleri kullandım. Bu parametre için sonuçları nasıl birleştirebilirim / havuzlayabilirim? Daha fazla bağlam: Modelim okullarda kümelenmiş bireysel öğrenciler (öğrenci başına bir gözlem) anlamında …

20 bayesian  mixed-model  missing-data 

[0,1] 'de beta regresyonu ile analiz etmek istediğim verilerim var. Tabii ki 0,1 değerlerini karşılamak için bir şeyler yapılmalıdır. Bir modele uyacak şekilde veri değiştirmeyi sevmiyorum. Ayrıca sıfır ve 1 enflasyonun iyi bir fikir olduğuna inanmıyorum çünkü bu durumda 0'ın çok küçük pozitif değerler olduğunu düşünmeliyim (ama tam olarak hangi …

20 regression  generalized-linear-model  beta-distribution  zero-inflation  beta-regression 

Bayesci istatistikleri öğreniyorum ve sık sık makalelerde okudum "Bayesci bir yaklaşımı benimsiyoruz" Veya benzeri. Ayrıca, daha az sıklıkla fark ettim: " tamamen Bayesci bir yaklaşım benimsiyoruz" (benim vurgu). Bu yaklaşımlar arasında herhangi bir pratik veya teorik anlamda bir fark var mı? FWIW, MCMCglmmilgili olması halinde R'deki paketi kullanıyorum .

20 bayesian 

Kovaryans matrisleri (güç spektral yoğunlukları (PSD'ler) ve çapraz güç spektral yoğunlukları (CSD'ler)) göz önüne alındığında bir dizi sabit renkli zaman serisi oluşturmakta sorun yaşıyorum. İki zaman serisi ve , güç spektral yoğunluklarını (PSD'ler) ve çapraz spektral yoğunluklarını (CSD'ler) ve Matlabda fonksiyonları, PSD'ler ve CSDs vb kovaryans matrisi oluşturan: yI(t)yI(t)y_{I}(t)yJ(t)yJ(t)y_{J}(t)psd()csd()C(f)=(PII(f)PJI(f)PIJ(f)PJJ(f)),C(f)=(PII(f)PIJ(f)PJI(f)PJJ(f)), \mathbf{C}(f) …

20 time-series  sampling  algorithms  simulation  covariance 

28 farklı para birimi için 10 yıllık günlük getiri verilerim var. İlk temel bileşeni çıkarmak istiyorum, ancak PCA'yı 10 yıl boyunca çalıştırmak yerine, 2 yıllık bir pencere açmak istiyorum, çünkü para birimlerinin davranışları gelişiyor ve bu yüzden bunu yansıtmak istiyorum. Ancak büyük bir sorunum var, yani hem princomp () hem …

20 r  pca 

PCA hakkında birkaç hızlı sorum var: PCA , veri kümesinin Gauss olduğunu varsayıyor mu? Doğası gereği doğrusal olmayan verilere bir PCA uyguladığımda ne olur? Bir veri kümesi verildiğinde, işlem ilk önce normalleştirmek, varyansı 1'e ayarlamak, bir SVD almak, sıralamayı azaltmak ve son olarak veri kümesini yeni düşük sıralı alanla eşlemektir. …

20 pca  svd 

Lojistik regresyon tahminleri için tahmin aralıklarının nasıl oluşturulacağını anlamak istiyorum . Collett'in Modelleme İkili Verileri , 2. Baskı s.98-99'daki prosedürleri izlemem önerildi. Bu prosedürü uyguladıktan ve R'lerle karşılaştırdıktan sonra predict.glm, aslında bu kitabın tahmin aralıklarını değil, güven aralıklarını hesaplama prosedürünü gösterdiğini düşünüyorum . Prosedürün Collett ile karşılaştırılması predict.glm, aşağıda gösterilmiştir. …

20 r  regression  confidence-interval  logistic  prediction-interval 

Hiyerarşik bir model verildiğinde, modele uyması için iki aşamalı bir işlem istiyorum. İlk olarak, bir avuç hiperparametre düzeltin ve daha sonra parametrelerinin geri kalanında Bayesian çıkarım yapın . Hiperparametreleri sabitlemek için iki seçenek düşünüyorum.θ ϕp ( x | ϕ , θ )p(x|ϕ,θ)p(x|\phi,\theta)θθ\thetaφϕ\phi Ampirik Bayes (EB) kullanın ve marjinal olasılığını en …

20 cross-validation  references  empirical-bayes