İstatistikler ve Büyük Veri

Diyelim ki gözlemlenmemiş bir gerçekleşme konusunda çıkarım yapmak istiyoruz xxx rastgele bir değişkenin x~x~\tilde x, normalde ortalama ile dağıtılır μxμx\mu_x ve varyans σ2xσx2\sigma^2_x. Diyelim ki başka bir rastgele değişken vary~y~\tilde y (gözlemlenmemiş gerçekleşmesini benzer şekilde arayacağız yyy) normalde ortalama ile dağıtılır μyμy\mu_y ve varyans σ2yσy2\sigma^2_y. İzin Vermekσxyσxy\sigma_{xy} kovaryans olmak x~x~\tilde …

9 meta-analysis 

Monte Carlo simülasyonunun chisq.test()R'deki fonksiyonda kullanımını anlamak istiyorum . 128 seviye / sınıfa sahip nitel bir değişkenim var. Örneklem boyutum 26 (daha fazla "birey" örnekleyemedim). Açıkçası, ben 0 "bireyler" ile bazı seviyeleri olacak. Ancak gerçek şu ki, mümkün olan 127 ders arasından sadece çok az sayıda sınıfım var. Ki-kare testi …

9 r  chi-squared  monte-carlo 

Arka fon Epstein'dan (1991) bir makalede: Aylık ortalamalardan günlük klimatolojik değerler elde edildiğinde, periyodik ve eşit aralıklı değerler için Fourier enterpolasyonunun hesaplanması için formülasyon ve bir algoritma verilmektedir. Bu makalede amaç, enterpolasyon yoluyla aylık ortalama değerlerden günlük değerler elde etmektir . Kısacası, bilinmeyen günlük değerlerin harmonik bileşenlerin toplamı ile temsil …

9 r  interpolation  fourier-transform 

randomForestYeni bir vakanın sınıfını öngören bir uygulamada kullanmak istediğim iyi bir sınıflandırma modelim var. Yeni vaka kaçınılmaz olarak eksik değerlere sahip. Tahmin NA'lar için böyle çalışmaz. Bunu nasıl yapmalıyım? data(iris) # create first the new case with missing values na.row<-45 na.col<-c(3,5) case.na<-iris[na.row,] case.na[,na.col]<-NA iris.rf <- randomForest(Species ~ ., data=iris[-na.row,]) # …

9 r  random-forest  prediction  missing-data 

Daha uygun bir foruma taşımak için çekinmeyin değilse, bu sormak için doğru yer olduğunu umuyoruz. Bir süredir Monte Carlo Entegrasyonu ile kare olmayan entegre fonksiyonların nasıl ele alınacağını merak ediyorum . MC'nin hala doğru bir tahmin verdiğini biliyorum ama bu tür fonksiyonlar için hata mantıksız (ıraksak?). Bizi bir boyutla sınırlayalım. …

9 monte-carlo  numerical-integration 

Eğer K1, … ,KnK1,...,KnK_1, \dots, K_n parametre ile iid Poisson dağılımları ββ\beta Maksimum olabilirlik tahmininin β^(k1, … ,kn) =1nΣi = 1nkbenβ^(k1,...,kn)=1nΣben=1nkben\hat\beta (k_1, \dots, k_n) = \frac{1}{n} \sum_{i=1}^n k_i veri için k1, … ,knk1,...,knk_1, \dots, k_n. Bu nedenle ilgili tahmin ediciyi tanımlayabiliriz T=1nΣi = 1nKben.T=1nΣben=1nKben.T = \frac{1}{n} \sum_{i=1}^n K_i . Sorum …

9 variance  maximum-likelihood  poisson-distribution 

Durum Bir bağımlı ve bir bağımsız değişken ile bir veri kümesi var . Birlikte regresyon doğrusal sürekli parçalı uygun istediğiniz meydana gelen bilinen sabit / kesme noktaları . Kesme noktaları belirsizlik olmadan bilinir, bu yüzden onları tahmin etmek istemiyorum. Sonra İşte bir örnekyyyxxxkkk(a1,a2,…,ak)(a1,a2,…,ak)(a_{1}, a_{2}, \ldots, a_{k})yi=β0+β1xi+β2max(xi−a1,0)+β3max(xi−a2,0)+…+βk+1max(xi−ak,0)+ϵiyi=β0+β1xi+β2max⁡(xi−a1,0)+β3max⁡(xi−a2,0)+…+βk+1max⁡(xi−ak,0)+ϵi y_{i} = \beta_{0} + …

9 r  regression  standard-error  piecewise-linear 

Bu sorunun burada tam olarak uygun olup olmadığından emin değilim, eğer değilse lütfen silin. Ben ekonomi alanında yüksek lisans öğrencisiyim. Sosyal sigortalardaki sorunları araştıran bir proje için, uygunluk değerlendirmelerini ele alan çok sayıda idari vaka raporuna (> 200k) erişebiliyorum. Bu raporlar muhtemelen bireysel idari bilgilere bağlanabilir. Bu raporlardan nicel analizde …

9 machine-learning  data-mining  econometrics  text-mining  natural-language 

Monte Carlo yöntemleriyle istatistiksel bir modelin marjinal olasılığını hesaplamaya çalışıyorum: f( x ) = ∫f( x ∣ θ ) π( θ )dθf(x)=∫f(x|θ)π(θ)dθf(x) = \int f(x\mid\theta) \pi(\theta)\, d\theta Olasılık iyi davranır - pürüzsüz, kütük içbükey - ancak yüksek boyutlu. Önemli örneklemeyi denedim, ancak sonuçlar sakat ve büyük oranda kullandığım teklife bağlı. …

9 monte-carlo  likelihood  marginal 

Ben MCMC kullanarak birbirlerinden özellikle uzak birçok modu olan bir posterior örneklemeye çalışıyorum. Çoğu durumda, bu modlardan sadece birinin aradığım% 95 hpd'yi içerdiği anlaşılıyor. Temperli simulasyona dayalı çözümler uygulamaya çalıştım, ancak uygulamada bir "yakalama menzilinden" diğerine geçmek maliyetli olduğu için tatmin edici sonuçlar vermiyor. Sonuç olarak, farklı başlangıç ​​noktalarından çok …

9 sampling  mcmc  inference  convergence 

EDIT: Bu yazı yaptığımdan beri, burada ek bir yazı ile takip ettim . Aşağıdaki metnin özeti: Bir model üzerinde çalışıyorum ve doğrusal regresyon, Box Cox dönüşümleri ve GAM'ı denedim, ancak fazla ilerleme kaydetmedim Kullanarak R, şu anda büyük lig (MLB) düzeyinde küçük lig beyzbol oyuncularının başarısını tahmin etmek için bir …

9 r  multiple-regression  data-transformation  nonlinear-regression  gam 

Bunların çoğu arka plan, Dirichlet işlem karışımları hakkında yeterince bilginiz varsa sonuna kadar atlayın . Diyelim ki bazı verileri Dirichlet işlemlerinin bir karışımından geliyormuş gibi modelleniyorum, yaniF∼D(αH)F∼D(αH)F \sim \mathcal D(\alpha H) ve şartlı FFF üstlenmek Yi∼iid∫f(y|θ)F(dθ).Yi∼iid∫f(y|θ)F(dθ).Y_i \stackrel {iid}{\sim} \int f(y | \theta) F(d\theta). Burada ve önceki temel ölçüttür. Her gözlem …

9 bayesian  nonparametric-bayes 

Diyelim ki belirli bir sağlık önlemine bakarak bir analiz yapıyorum. Hastalar ve kontroller arasındaki bu ölçekteki farkla ve farkın 0'dan farklı olup olmadığıyla ilgileniyorum. Geçmişte aynı araştırma sorum ve sağlık ölçüme, ancak farklı hasta örneklerine baktığım çalışmalar vardı. Bayesci analizimde, ortalama farkı ve standart hatayı içeren önceki çalışmalara dayanarak önceki …

9 bayesian  meta-analysis  case-control-study 

Başımı bu konunun etrafına sarmak istiyorum, ancak teknik incelemelerden ve öğreticilerden öğrenmek zor çünkü genellikle ders kitaplarında dolu birçok boşluk var. Önemli ise doktora derecemde olduğu gibi nispeten güçlü bir matematik geçmişim var. uygulamalı matematikte (CFD daha kesin).

9 bayesian  nonparametric  references  nonparametric-bayes 

R'de, lm()işlevi şu şekilde çağırırsam : lm.1 = lm(response ~ var1 + var2 + var1 * var2) summary(lm.1) Bu bana olan tepkisi değişkenin doğrusal modelini verir var1, var2ve bunlar arasındaki etkileşimi. Ancak, etkileşim terimini tam olarak nasıl yorumlarız? Belgeler bunun var1ve arasındaki "çapraz" olduğunu söylüyor var2, ancak "çapraz" ın tam …

9 r  regression