MCMC; Posteriordan '' saf '' ve '' yeterince büyük '' bir numunemiz olduğundan emin olabilir miyiz? Olmazsak nasıl çalışır?

Bu konuya atıfla: Markov Zinciri Monte Carlo'yu (MCMC) bir meslekten nasıl açıklarsınız? .

Markov Zincirleri ve Monte Carlo'nun bir kombinasyonu olduğunu görebiliyorum: Posterior ile değişmez sınırlama dağılımı olarak bir Markov zinciri oluşturulur ve daha sonra Monte Carlo çekimleri (bağımlı) sınırlama dağılımından yapılır (= posterior).

Diyelim ki (burada basitleştirdiğimi biliyorum) adımlarından sonra sınırlayıcı dağılımdayız (*). $L$ $\Pi$

Rastgele değişkenin bir dizi olmak Markov zinciri, bir dizisi elde , burada rasgele bir değişkendir ve sınırlayıcı '' rastgele değişken '' örnekleme yapmak istiyoruz. $X_1, X_2, \dots , X_L, \Pi, \Pi, \Pi, \dots \Pi$ $X_i$ $\Pi$

MCMC, bir başlangıç değerinden, yani başlar olduğu bir değerde tüm kütleye sahip olan bir rastgele değişken . Ben rastgele değişkenin gerçekleşmeleri için rastgele değişkenler ve küçük harfler büyük harfler kullanırsanız, o zaman MCMC bana bir diziyi verir . Böylece MCMC zincirinin uzunluğu L + n'dir. $X_1$ $x_1$ $x_1,x_2,x_3, \dots x_L, \pi_1, \pi_2, \pi_3, ....\pi_n$

[[* Not: büyük harfler rastgele değişkenlerdir (yani bir grup sonuç) ve küçük sonuçlardır, yani belirli bir değerdir. *]] $x$

Açıkçası, sadece aittir benim '' arka '' ve posterior '' iyi '' değeri yaklaşmanız '' yeterince büyük' olmalıdır. $\pi_i$ $n$

Daha sonra bu özetlemek gerekirse Bir MCMC zincir sahip uzunluğu , sadece benim arka yakınlaştırılması için ilgili olmaları ve yeterince büyük olmalıdır. $x_1,x_2,x_3, \dots x_L, \pi_1, \pi_2, \pi_3, ....\pi_n$ $N=L+n$ $\pi_1,\pi_2,\dots, \pi_n$ $n$

Posteriorun yaklaşık hesaplanmasında bazılarını (yani değişmez dağılıma ulaşılmadan önceki gerçekleşmeleri) dahil edersem , `` gürültülü '' olacaktır. $x_i$

MCMC zincirinin uzunluğunu biliyorum , ancak bilgisi olmadan , yani sınırlama dağılımından örnek alacağımdan emin olduğum adım, gürültü içermediğimden emin olamıyorum, ne de konusunda emin olmak , sınırlama dağıtım benim numunenin büyüklüğü, özellikle de, bunun 'yeterince geniş' emin olmadığı olamaz. $N=L+n$ $L$ $n=N-L$

Bu nedenle, anladığım kadarıyla , nin bu değeri , posteriorun yaklaşık kalitesi için çok önemlidir (gürültünün ve büyük bir numunenin ondan hariç tutulması) $L$ .

MCMC'yi uygularken için makul bir tahmin bulmanın herhangi bir yolu var mı? $L$

(*) Genel olarak nin başlangıçtaki değerine bağlı olacağını düşünüyorum . $L$ $x_1$

mcmc

— Topluluk
kaynak

$L$ $L = \infty$ $N$

Temel olarak, sorunuz "yazma süresini nasıl tahmin edebiliriz?" Yanma, Markov zinciri yakınsamadığından başlangıç örneklerini atma eylemidir. "Yanma" süresini tahmin etmenize yardımcı olan birçok MCMC teşhisi vardır, burada bir inceleme görebilirsiniz .

$L$ $L$ $L$

Şimdi, sorunuzun daha teknik ayrıntılarına dönüyorum.

$L$ $L$ $L$ $\infty$ $L$

$L$ $L$

$L$ $N$ $X_1, X_2, X_3, \dots, X_N$ $L$ $L$ $\infty$ ), ve posterior ortalamayı ( tahmin etmek istiyoruz $\theta$

{\bar{θ}}_{N} = \frac{1}{N} \sum_{i = 1}^{N} X_{i} .

$\bar{\theta}_N = \dfrac{1}{N} \sum_{i=1}^{N}X_i.$

$N$ $L$

$N$ $\theta$

$(\bar{\theta}_N - \theta)$ $N \to \infty$

\sqrt{N} ({\bar{θ}}_{N} - θ) \overset{d}{\to} N_{p} (0, Σ),

$\sqrt{N}(\bar{\theta}_N - \theta) \overset{d}{\to} N_p(0, \Sigma),$

$\theta \in \mathbb{R}^p$ $\Sigma$

$\Sigma/N$

— Greenparker
kaynak

L

$L$

\infty

$\infty$

Σ / n

$\Sigma/n$

{\hat{θ}}_{N}

$\hat{\theta}_N$

Σ / N

$\Sigma/N$

{\bar{θ}}_{N}

$\bar{\theta}_N$

X_{1} \sim π

$X_1 \sim \pi$

{\bar{g}}_{n}

$\bar{g}_n$

X_{1} \sim π

$X_1 \sim \pi$

π

$\pi$