Metropolis-Hastings entegrasyonu - stratejim neden çalışmıyor?

entegre etmek istediğim bir fonksiyonum olduğunu varsayın Tabii ki 'nin uç noktalarda sıfıra gittiğini varsayarsak , patlama olmaz, güzel işlev. I ile ilgilenmek oldum bir yolu örnekleri bir listesini oluşturmak için Metropolis- Hastings yapısı kullanmaktır dağılımından orantılı için normalleştirme sabit eksik, diyeceğim ve sonra bu 'lerde bazı istatistik hesaplayacağım : $g(x)$

\int_{- \infty}^{\infty} g (x) d x .

$\int_{-\infty}^\infty g(x) dx.$

g (x)

$g(x)$

x_{1}, x_{2}, \dots, x_{n}

$x_1, x_2, \dots, x_n$

g (x)

$g(x)$

N = \int_{- \infty}^{\infty} g (x) d x

$N = \int_{-\infty}^{\infty} g(x)dx$

p (x)

$p(x)$

f (x)

$f(x)$

x

$x$

\frac{1}{n} \sum_{i = 0}^{n} f (x_{i}) \approx \int_{- \infty}^{\infty} f (x) p (x) d x .

$\frac{1}{n} \sum_{i=0}^n f(x_i) \approx \int_{-\infty}^\infty f(x)p(x)dx.$

Yana $p(x) = g(x)/N$ , içinde yerini alabilir $f(x) = U(x)/g(x)$ iptal etmek $g$ formunun bir ifade ile sonuçlanır entegrali gelen

\frac{1}{N-} \int_{- \infty}^{\infty} \frac{U (x)}{g (x)} g (x) d x = \frac{1}{N-} \int_{- \infty}^{\infty} U (x) d x .

$\frac{1}{N}\int_{-\infty}^{\infty}\frac{U(x)}{g(x)} g(x) dx = \frac{1}{N}\int_{-\infty}^\infty U(x) dx.$ Bu nedenle,

bu bölge boyunca

ile

U (x)

$U(x)$ bütünleşirse , istediğim cevabı almak için karşılık alabileceğim

sonucunu almalıyım. Bu nedenle

menzilini alabilirim (noktaları en etkili şekilde kullanmak için)

her numune için

. Bu şekilde

1

$1$

1 / N

$1/N$

r = x_{max} - x_{min}

$r = x_\max - x_\min$

U (x) = 1 / r

$U(x) = 1/r$

U (x)

$U(x)$ örneklerimin olmadığı bölgenin dışında sıfır olarak değerlendirilir, ancak o bölgede

1

$1$ ile bütünleşir . Şimdi beklenen değeri alırsam, şunu almalıyım:

E [\frac{U (x)}{g (x)}] = \frac{1}{N-} \approx \frac{1}{n} Σ_{ben = 0}^{n} \frac{U (x)}{g (x)} .

$E\left [\frac{U(x)}{g(x)}\right ] = \frac{1}{N} \approx \frac{1}{n} \sum_{i=0}^n \frac{U(x)}{g(x)}.$

Bunu örnek fonksiyonu için R'de test etmeyi denedim . Bu örnekte Metropolis-Hastings'i örnek üretmek için kullanmıyorum ama gerçek olasılıkları örnek üretmek için kullanıyorum (sadece test etmek için). Aradığım sonuçları tam olarak alamıyorum. Temel olarak hesaplayacağım şeyin tam ifadesi: Bu benim . Yaklaşıyor ama kesinlikle beklenen şekilde birleşmiyor, yanlış bir şey mi yapıyorum? $g(x) = e^{-x^2}$ rnorm

\frac{1}{n (x_{max} - x_{min})} \sum_{i = 0}^{n} \frac{1}{e^{- x_{i}^{2}}} .

$\frac{1}{n(x_{\max} - x_\min)} \sum_{i=0}^n \frac{1}{ e^{-x_i^2}}.$

1 / \sqrt{π}

$1/\sqrt{\pi}$

ys = rnorm(1000000, 0, 1/sqrt(2))
r = max(ys) - min(ys)
sum(sapply(ys, function(x) 1/( r * exp(-x^2))))/length(ys)
## evaluates to 0.6019741. 1/sqrt(pi) = 0.5641896

CliffAB için düzenle

Aralığı kullanmamın nedeni, noktalarımın bulunduğu bölgede sıfır olmayan ancak aralığında ile bütünleşen bir işlevi kolayca tanımlamaktır . Fonksiyonun tam özellikleri: Bu eşit yoğunluk olarak kullanmak zorunda kalmadım. bütünleştirilmiş başka bir yoğunluk kullanabilirdim , örneğin olasılık yoğunluğu Ancak bu, bireysel örneklerin toplanmasını önemsiz hale getirecektir. $1$ $[-\infty, \infty]$

U (x) = {\begin{cases} \frac{1}{x_{max} - x_{min}} & x_{max} > x > x_{min} \\ 0 & otherwise. \end{cases}

$U(x) = \begin{cases} \frac{1}{x_\max - x_\min} & x_\max > x > x_\min \\ 0 & \text{otherwise.} \end{cases}$

U (x)

$U(x)$

1

$1$

P (x) = \frac{1}{\sqrt{π}} e^{- x^{2}} .

$P(x) = \frac{1}{\sqrt{\pi}} e^{-x^2}.$

\frac{1}{n} \sum_{i = 0}^{n} \frac{P (x)}{g (x)} = \frac{1}{n} \sum_{i = 0}^{n} \frac{e^{- x_{i}^{2}} / \sqrt{π}}{e^{- x_{i}^{2}}} = \frac{1}{n} \sum_{i = 0}^{n} \frac{1}{\sqrt{π}} = \frac{1}{\sqrt{π}} .

$\frac{1}{n} \sum_{i=0}^n \frac{P(x)}{g(x)} = \frac{1}{n} \sum_{i=0}^n \frac{e^{-x_i^2}/\sqrt{\pi}}{e^{-x_i^2} } = \frac{1}{n} \sum_{i=0}^n \frac{1}{\sqrt{\pi}} = \frac{1}{\sqrt{\pi}}.$

Bu tekniği entegre olan diğer dağıtımlar için deneyebilirim . Ancak yine de neden düzgün bir dağıtım için işe yaramadığını bilmek istiyorum. $1$

— Mike Flynn
kaynak

Sadece hızlı bir şekilde bunu gözden geçiriyorum, bu yüzden neden aralığı (x) kullanmaya karar verdiğinizden emin değilim. Şartlı olarak geçerli olması üzerine, son derece verimsiz! Bu boyuttaki bir örneğin aralığı, alabileceğiniz en dengesiz istatistiktir.

— Cliff AB

@CliffAB Puanlarımın kullanıldığı aralıkta düzgün bir dağılım tanımlamanın yanı sıra, menzili kullanmamla ilgili özel bir şey yok. Düzenlemelere bakın.

— Mike Flynn

Buna daha sonra daha ayrıntılı olarak bakacağım. Ancak dikkate alınması gereken bir şey, x'in tek tip gibi, , range . Ancak x, dejenere olmayan normal RV'ler kümesiyse, , .

n \to \infty

$n \rightarrow \infty$

(x) \to 1

$(x) \rightarrow 1$

n \to \infty

$n \rightarrow \infty$

range (x) \to \infty

$\text{range}(x) \rightarrow \infty$

— Cliff AB

@CliffAB haklı olabilirsiniz, bence neden integralin sınırları sabit değildi ve bu yüzden tahmin edicinin varyansı asla birleşmeyecek ...

— Mike Flynn

Bu yoğunluk bir normalleştirme sabit aşağı yukarı sorunu ile ilgilidir çok ilginç bir soru, , aynı yoğunlukta bir MCMC çıkışına göre . (Bir yan açıklama, yapılacak doğru varsayımın entegre olduğu, sonsuzda sıfıra gitmenin yeterli olmadığıdır.) $g$ $g$ $g$

Bence, Öneriniz konusunda bu konuda en uygun girişi olan kağıt Gelfand ve Dey (1994, tarafından JRSS B yazarlar bulmak için bir çok benzer bir yaklaşım geliştirmek), ,

\int_{X} g (x) d x

$\int_\mathcal{X} g(x) \,\text{d}x$

. Bu makaledeki sonuçlardan biri, herhangi bir olasılık yoğunluğu için

[bu,

değerinize eşittir], böylece

p (x) \propto g (x)

$p(x)\propto g(x)$

α (x)

$\alpha(x)$

U (x)

$U(x)$

aşağıdaki kimlik

{x; α (x) > 0} \subset {x; g (x) > 0}

$\{x;\alpha(x)>0\}\subset\{x;g(x)>0\}$

bir örnek olduğu Şekil

bir üretebilirtarafsız değerlendirmebölgesinin

numune tahmin önemine göre

\int_{X} \frac{α (x)}{g (x)} p (x) d x = \int_{X} \frac{α (x)}{N-} d x = \frac{1}{N-}

$\int_\mathcal{X} \dfrac{\alpha(x)}{g(x)}p(x) \,\text{d}x=\int_\mathcal{X} \dfrac{\alpha(x)}{N} \,\text{d}x=\dfrac{1}{N}$

p

$p$

1 / N

$1/N$

Açıkçası, tahmin edicinin performansları (yakınsama hızı, bir varyans varlığı, ve tc).

yapmak seçimine bağlıdır

[beklentisini yapar halde değil]. Bayesci bir çerçevede,Gelfand ve Deytarafından savunulan bir seçim, önceki yoğunluk olan

almaktır. Bu

\hat{η} = \frac{1}{n} Σ_{ben = 1}^{n} \frac{α (x_{ben})}{g (x_{ben})} x_{ben} \overset{iid}{~} p (x)

$\hat\eta=\frac{1}{n}\sum_{i=1}^n \dfrac{\alpha(x_i)}{g(x_i)}\qquad x_i\stackrel{\text{iid}}{\sim}p(x)$

\hat{η}

$\hat\eta$

α

$\alpha$

α = π

$\alpha=\pi$

burada

olabilirlik fonksiyonudur, çünkü

. Ne yazık ki, elde edilen tahmin

\frac{α (x)}{g (x)} = \frac{1}{ℓ (x)}

$\dfrac{\alpha(x)}{g(x)} = \dfrac{1}{\ell(x)}$

ℓ (x)

$\ell(x)$

g (x) = π (x) ℓ (x)

$g(x)=\pi(x)\ell(x)$

olduğuharmonik ortalama tahmincisiolarak da adlandırılan,kötü Monte Carlo tahmincisi hiçToronto Üniversitesi'nden Radford Neal tarafından. Bu yüzden her zaman iyi çalışmaz. Hatta neredeyse hiç.

\hat{N-} = \frac{n}{Σ_{ben = 1}^{n} 1 / ℓ (x_{ben})}

$\hat{N}=\dfrac{n}{\sum_{i=1}^n1\big/\ell(x_i)}$

$(\min(x_i),\max(x_i))$ $\exp\{x^2\}$

$\alpha$ $(q_{.25}(x_i),q_{.75}(x_i))$ $g$

Kodunuzu bu yeni yoğunluğa uyarlarken, yaklaşım çok daha yakın $1/\sqrt{\pi}$

ys = rnorm(1e6, 0, 1/sqrt(2))
r = quantile(ys,.75) - quantile(ys,.25)
yc=ys[(ys>quantile(ys,.25))&(ys<quantile(ys,.75))]
sum(sapply(yc, function(x) 1/( r * exp(-x^2))))/length(ys)
## evaluates to 0.5649015. 1/sqrt(pi) = 0.5641896

Bu yöntemi Darren Wraith ve Jean-Michel Marin ile iki makalede ayrıntılı olarak tartışıyoruz .

— Xi'an
kaynak