Her MCMC yinelemesinde büyük bir veri kümesini alt örnekleyebilir miyim?

Sorun: Büyük bir veri kümesi üzerinde posterior çıkarmak için Gibbs örneklemesi yapmak istiyorum. Ne yazık ki, modelim çok basit değil ve bu nedenle örnekleme çok yavaş. Varyasyonel veya paralel yaklaşımları düşünürdüm, ama o zamana kadar gitmeden önce ...

Soru: Her Gibbs yinelemesinde veri kümemden rastgele (değiştirerek) örnek olup olamayacağımı bilmek istiyorum, böylece her adımda öğrenecek daha az örneğim var.

Sezgim, örnekleri değiştirsem bile olasılık yoğunluğunu değiştirmeyeceğim ve Gibbs örneğinin hile fark etmemesi gerektiğidir. Haklı mıyım? Bunu yapan insanların bazı referansları var mı?

— alberto
kaynak

Bir yana: başka bir fikir, büyük veri kümesinin rastgele alt örnekleri üzerinde çoklu analizler yapmak olacaktır. Bu şekilde çapraz doğrulayabilirsiniz.

— varsayımlar

Sorunuzu kesin olarak herhangi bir otorite ile cevaplayamıyorum (şüphem sadece Monte Carlo ile birlikte gelen yaklaşıklık hatasını artıracağınızdır), üzücü gerçek şu ki bu Bayesian MCMC analizlerinin sadece talihsiz bir yönüdür: hesaplamalı olarak pahalı. @conjectures yorumu harika bir fikir, ancak sorunun merkezinde yer almıyor: her bir kişi için bu örneklerin hepsini çizmek çok pahalı. Benim tavsiyem, ağır iş için kendi C kodunuzu yazmanız (Rcpp in R, Cython in Python, vb.) Ve ayrıca paralelleştirmeniz (şube bağımlılığı olmadığında).

@conjectures Bu, Michael Jordan'ın küçük önyükleme çantasına benziyor.

— jaradniemi

Gizli değişken büyütmeyi tamamen önlemek için örnekleyicinizi değiştirmenizi öneririm. Artık Gibbs örnekleyicisine sahip olmayacaksınız, ancak olasılığa normal bir yaklaşıma dayanan bir teklif içeren bir Metropolis-Hastings algoritması iyi çalışmalıdır. Bayesian Veri Analizinin 2. baskısının Bölüm 16.4'üne bakınız.

— jaradniemi

Bu, sizin için doğru bir şekilde özetleyecek kadar iyi bilmediğim aktif bir araştırma alanı. Örneğin bkz. Jmlr.org/proceedings/papers/v32/bardenet14.pdf ve arxiv.org/pdf/1304.5299v4.pdf

— Andrew M

Alt örnekleme stratejileri hakkında: örneğin iki gözlemin olduğunu düşünün $X_1 \sim N(\mu_1, \sigma_1^2)$ ve $X_2 \sim N(\mu_2,\sigma_2^2)$ ve ortalama ve varyans üzerine bazı öncelikler koymayı düşünün. İzin Vermek $\theta = (\mu_1, \mu_2, \sigma_1^2, \sigma_2^2)$ , değerlendirmek istediğimiz posterior

f (θ | X_{1}, X_{2}) α f (X_{1} | θ) f (X_{2} | θ) f (θ)

$f(\theta|X_1, X_2) \propto f(X_1|\theta)f(X_2 | \theta)f(\theta)$ Artık binom değişkenini düşünün

δ \sim B (0.5)

$\delta \sim B(0.5)$ . Eğer

δ = 0

$\delta=0$ Seçtik

X_{1}

$X_1$ , Eğer

δ = 1

$\delta =1$ Seçtik

X_{2}

$X_2$ , yeni posterior

f (θ, δ | X_{1}, X_{2}) α f (X_{1}, X_{2} | δ, θ) f (θ) f (δ)

$f(\theta, \delta|X_1, X_2) \propto f(X_1, X_2|\delta,\theta)f(\theta)f(\delta)$ nerede

f (X_{1}, X_{2} | δ, θ) = f (X_{1} | θ)^{δ} f (X_{2} | θ)^{1 - δ}

$f(X_1, X_2|\delta,\theta) = f(X_1|\theta)^{\delta} f(X_2|\theta)^{1-\delta}$ ve

f (δ) = 0.5

$f(\delta) = 0.5$ . Şimdi örneklemek istiyorsanız

δ

$\delta$ Gibbs adımı ile hesaplamanız gerekir

f (X_{1} | θ)

$f(X_1|\theta)$ ve

f (X_{2} | θ)

$f(X_2|\theta)$ Çünkü

P (δ = 1) = \frac{f (X_{1} | θ)}{f (X_{1} | θ) + f (X_{2} | θ)}

$P(\delta=1)= \frac{f(X_1|\theta) }{f(X_1|\theta) +f(X_2|\theta) }$ . Metropolis Hastings'i başka türlü kullanırsanız, yeni bir eyalet önerirsiniz.

δ^{*}

$\delta^*$ ve sadece bir tanesini

f (X_{1} | θ)

$f(X_1|\theta)$ ve

f (X_{2} | θ)

$f(X_2|\theta)$ , önerilen eyaletlerle ilişkili olan, ancak aşağıdakileri hesaplamak zorundasınız

f (X_{1} | θ)

$f(X_1|\theta)$ ve

f (X_{2} | θ)

$f(X_2|\theta)$ kabul edilen son durum için bile

δ

$\delta$ . O zaman metropolün size bir avantaj sağlayacağından emin değilim. Dahası, burada iki değişkenli bir süreç düşünüyoruz, ancak çok değişkenli bir süreçle,

δ

$\delta$ s metropol ile çok karmaşık olabilir.

— niandra82
kaynak