Bayesli model seçimindeki Jeffreys-Lindley paradoksu için ne zaman endişelenmeliyim?

RJMCMC kullanarak keşfettiğim çeşitli karmaşıklık modellerinin geniş (ancak sonlu) bir alanını düşünürüm . Her model için parametre vektörünün öncüsü oldukça bilgilendiricidir.

Hangi durumlarda (varsa) Jeffreys-Lindley paradoksundan , daha karmaşık modellerden biri daha uygun olduğunda daha basit modelleri tercih etmekten endişelenmeliyim ?
Bayesci model seçimindeki paradoksun sorunlarını vurgulayan basit örnekler var mı?

Xi'an'ın blogu ve Andrew Gelman'ın blogu gibi birkaç makale okudum , ancak sorunu hala tam olarak anlayamıyorum.

— Jeff
kaynak

Bence çok fazla soru var ve burada etkili bir şekilde cevaplanamayacak kadar farklılar.

— jaradniemi

Geri bildiriminiz için teşekkürler, @ jaradniemi, "Posterior model olasılıklarını etkili bir şekilde döndüren RJMCMC prosedürü, DIC ile aynı modelleri destekliyor mu?"

— Jeff

Blogumda belirsiz olduğum için üzgünüm !

Not: Cross ile ilgili bu diğer cevapta Bayesci model seçimi ve Jeffreys-Lindley paradoksu hakkında biraz bilgi verdim .

Jeffreys-Lindley paradoksu Bayes modeli seçimi ile ilgilidir, çünkü marjinal olasılık zaman anlamsız hale a, -finite ölçü (yani sonsuz kütleli bir ölçüsü) yerine bir olasılık ölçüsü. Bu zorluğun nedeni sonsuz kütle markaları olmasıdır ve herhangi bir olumlu sabiti için undistinguishable . Özellikle, Bayes faktörü kullanılamaz ve bir modele daha önce "düz" eklenmişse kullanılmamalıdır.

m (x) = \int π (θ) f (x | θ) d θ

$m(x)=\int \pi(\theta) f(x|\theta)\,\text{d}\theta$

π

$\pi$

σ

$\sigma$

π

$\pi$

c π

$\mathfrak{c}\pi$

c

$\mathfrak{c}$

Orijinal Jeffreys-Lindley paradoksu normal dağılımı örnek olarak kullanır. Modelleri karşılaştırırken ve Bayes faktör

x ~ N- (0, 1)

$x\sim\mathcal{N}(0,1)$

x ~ N- (θ, 1)

$x\sim\mathcal{N}(\theta,1)$

İyi zaman tanımlanır

olan uygun bir önceki ama bir normal öncesinde alırsak

üzerine

ve izin

sonsuza gidin payda herhangi değeri için sıfıra gider

sıfırdan farklı ve

herhangi bir değeri. (

birbiriyle ilişkiliolmadığı sürecebu daha karmaşık hale gelir!) Bunun yerine doğrudan

burada

zorunlu olarak sabit bir sabitse, Bayes faktörü

B_{12} = \frac{tecrübe {- n ({\bar{x}}_{n})^{2} / 2}}{\int_{- \infty}^{+ \infty} tecrübe {- n ({\bar{x}}_{n} - θ)^{2} / 2} π (θ) d θ}

$\mathfrak{B}_{12}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\int_{-\infty}^{+\infty}\exp\{-n(\bar{x}_n-\theta)^2/2\}\pi(\theta)\,\text{d}\theta}$

π

$\pi$

N (0, τ^{2})

$\mathcal{N}(0,\tau^2)$

θ

$\theta$

τ

$\tau$

{\bar{x}}_{n}

$\bar{x}_n$

n

$n$

τ

$\tau$

n

$n$

π (θ) = c

$\pi(\theta)=\mathfrak{c}$

c

$\mathfrak{c}$

olacak

B_{12}

$\mathfrak{B}_{12}$

dolayısıyla doğrudan

bağlıdır.

B_{12} = \frac{tecrübe {- n ({\bar{x}}_{n})^{2} / 2}}{c \int_{- \infty}^{+ \infty} tecrübe {- n ({\bar{x}}_{n} - θ)^{2} / 2} d θ} = \frac{tecrübe {- n ({\bar{x}}_{n})^{2} / 2}}{c \sqrt{2 π / n}}

$\mathfrak{B}_{12}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\mathfrak{c}\int_{-\infty}^{+\infty}\exp\{-n(\bar{x}_n-\theta)^2/2\}\,\text{d}\theta}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\mathfrak{c}\sqrt{2\pi/n}}$

c

$\mathfrak{c}$

Öncelikleriniz bilgilendirici (ve dolayısıyla doğru) ise, Jeffreys-Lindley paradoksunun gerçekleşmesi için hiçbir neden yoktur. Yeterli sayıda gözlemle, Bayes faktörü verileri üreten modeli tutarlı bir şekilde seçecektir. (Daha doğrusu, modeli oluşturan "veriyi oluşturan" gerçek "modele en yakın olan model seçimi için düşünülen model koleksiyonundaki model.)

— Xi'an
kaynak

Çok ayrıntılı cevabınız için çok teşekkürler Xi'an! Blogunuz çok açık (ondan çok şey öğrendim) Bu sorunu anlamakta biraz yavaş kaldım!

— Jeff

Aslında, blogum arka plan ve önkoşul konusunda son derece değişken varsayımlarla çalışıyor, bu yüzden zaman zaman ve birçok okuyucu için kesinlikle belirsiz!

— Xi'an