İstatistikler ve Büyük Veri

Metropolis-Hastings ve Gibbs örneklemesinde oldukça iyi bir pratik deneyimim var, ancak bu algoritmaları daha iyi matematiksel olarak anlamak istiyorum. Bu örnekleyicilerin doğruluğunu kanıtlayan bazı iyi ders kitapları veya makaleler nelerdir (daha fazla algoritma da harika olurdu)?

10 bayesian  references  mcmc 

Aşağıdaki standart denklem ile farklılıklar farklılıkları yaklaşım hakkında bir sorum var: nerede tedavi tedavi grup ve sonrası için bir kukla değişkendir. y=a+b1treat+b2post+b3treat⋅post+uy=a+b1treat+b2post+b3treat⋅post+u y= a + b_1\text{treat}+ b_2\text{post} + b_3\text{treat}\cdot\text{post} + u Şimdi sorum basit: Neden çoğu makale hala ek kontrol değişkenleri kullanıyor? Paralel eğilim varsayımı doğruysa, ek kontroller hakkında endişelenmemiz …

10 regression  multiple-regression  causality 

Hisse senedi endekslerinde günlük getirilere dair bazı tanımlayıcı istatistikler yapıyorum. Yani ve , sırasıyla 1. ve 2. gün dizinin seviyeleri ise, kullandığım geri dönüştür (literatürde tamamen standarttır).P 2 l o g e ( P 2P1P1P_1P2P2P_2l o ge( P2P1)lÖge(P2P1)log_e (\frac{P_2}{P_1}) Bu nedenle bazılarında basıklık çok büyüktür. Yaklaşık 15 yıllık günlük verilere …

10 distributions  finance  skewness  kurtosis 

Veri yapısı > str(data) 'data.frame': 6138 obs. of 10 variables: $ RT : int 484 391 422 516 563 531 406 500 516 578 ... $ ASCORE : num 5.1 4 3.8 2.6 2.7 6.5 4.9 2.9 2.6 7.2 ... $ HSCORE : num 6 2.1 7.9 1 6.9 8.9 …

10 r  mixed-model  repeated-measures  model-selection  lme4-nlme 

Bir dendrogram kümelemesi bağlamını düşünün. Bireyler arasındaki mesafeleri orijinal farklılıklar olarak adlandıralım . Dendrogramı oluşturduktan sonra, iki birey arasındaki kojenetik farklılığı , bu bireylerin ait olduğu kümeler arasındaki mesafe olarak tanımlarız . Bazı insanlar, orijinal farklılıklar ile kojenetik farklılıklar ( kofenetik korelasyon olarak adlandırılır) arasındaki korelasyonun , sınıflandırmanın "uygunluk endeksi" …

10 clustering  classification 

Üstel veya Weibull dağılımı için ortalama hayatta kalma süresinin nasıl bulunacağını gösteren bol miktarda formül buldum, ancak log-normal hayatta kalma fonksiyonları için önemli ölçüde daha az şansım var. Aşağıdaki hayatta kalma fonksiyonu göz önüne alındığında: S( t ) = 1 - ϕ [ ln( t ) - μσ]S(t)=1-φ[ln⁡(t)-μσ]S(t) = 1 …

10 survival 

Eğimli bozuk para modellerinde genellikle bir parametre . Bir dizi tahmin etmenin bir yolu, önceden bir beta kullanmak ve binom olasılığı ile posterior dağılımı hesaplamaktır.θθ=P(Head|θ)θ=P(Head|θ)\theta = P(\text{Head} | \theta)θθ\theta Çünkü bazı garip fiziksel sürecin ayarlarım,, benim jeton özellikleri yavaş yavaş değişiyor ve zaman bir fonksiyonu olur . Verilerim bir dizi …

10 time-series  bayesian  kalman-filter 

Bir tahsilat ajansı için ödeme tutarını tahmin etmenin en iyi yolunu bulmaya çalışıyorum. Bağımlı değişken yalnızca bir ödeme yapıldığında sıfır değildir. Anlaşılır şekilde, çok sayıda sıfır var, çünkü çoğu insana ulaşılamıyor veya borcu geri ödeyemiyor. Ayrıca borç tutarı ile ödeme yapma olasılığı arasında çok güçlü bir negatif korelasyon vardır. Tipik …

10 regression  predictive-models  logistic 

Genel doğrusal karışık modelde rastgele etkilerin beklenen değerlerine doğru küçültülmesi için sezgisel bir neden var mı?

10 mixed-model  random-effects-model 

Bir veri kümesi ile R kullanarak lognormal bir model taktım. Ortaya çıkan parametreler: meanlog = 4.2991610 sdlog = 0.5511349 Bu modeli daha önce hiç kullanmadığım Scipy'ye aktarmak istiyorum. Scipy kullanarak, 1 ve 3.1626716539637488e + 90 - çok farklı sayıların bir şekil ve ölçeğini elde edebildim. Ayrıca meanlog ve sdlog exp …

10 r  python  numpy  scipy 

R kullanarak Mann-Whitney U için kritik değerleri bulmaya çalıştığımda, değerlerin her zaman 1 + kritik değer olduğunu fark ettim. Örneğin, , (iki kuyruklu) kritik değer 8 iken, , (iki kuyruklu ) kritik değer 22'dir ( tabloları kontrol edin ), ancak:α = .05 , n = 12 , m = 8α …

10 r  hypothesis-testing  nonparametric  wilcoxon-mann-whitney 

Özel kontrastlı tek yönlü bir ANOVA (tür başına) yapıyorum. [,1] [,2] [,3] [,4] 0.5 -1 0 0 0 5 1 -1 0 0 12.5 0 1 -1 0 25 0 0 1 -1 50 0 0 0 1 burada yoğunluk 0.5'i 5'e karşı 5, 12'ye karşı 5 vb. Bunlar üzerinde …

10 r  anova  contrasts  generalized-least-squares 

Bu benim egzersiz verilerim: 200.000 Örnek x 10.000 Özellikler. Bu yüzden eğitim veri matrisim - 200.000 x 10.000. Her örnek için özellikleri oluştururken, her veri kümesini tek tek (bir örnek sonra) kaydederek bellek sorunları olmadan bunu düz bir dosyaya kaydetmeyi başardım. Ancak, şimdi Milk , SVM ışığı veya başka bir …

10 machine-learning  dataset  algorithms  python 

Bir bilgisayar bilimi projesi yapmak zorunda olan 400 öğrencim olduğunu ve tek başına çalışmak zorunda olduklarını varsayalım (hiçbir öğrenci grubu yok). Bir proje örneği "fortran'da hızlı bir fourier dönüşüm algoritması uygulanmasına izin verebilir" (Biliyorum, seksi görünmüyor, ancak sorumu daha basit hale getiriyor). Ben düzelticiyim ve "gerçekten bağımsız olarak yazılamayacak kadar …

10 hypothesis-testing  clustering 

Sıfır Poisson regresyon modeli bir numune için tanımlandığı şişirilmiş ile Y i = { 0 olasılığı ile p ı + ( 1 - s i ) E - λ ı k olasılığı ile ( 1 - p i ) e - λ i λ k i / k ! ve …

10 generalized-linear-model  maximum-likelihood  poisson-distribution  expectation-maximization  latent-variable