Uygun bir önceki ve üslü olasılık yanlış posteriorya yol açabilir mi?

(Bu soru esinlenmiştir Bu yorumun gelen Xi'an .)

Bu da, önceki dağılım halinde olduğu bilinmektedir $\pi(\theta)$ doğru ve olasılığıdır $L(\theta | x)$ , daha sonra arka dağılımı iyi tanımlanmış bir $\pi(\theta|x)\propto \pi(\theta) L(\theta|x)$ neredeyse kesinlikle uygun.

Bazı durumlarda, bunun yerine temperlenmiş veya üslü bir olasılık kullanıyoruz, bu da sahte bir posteriora yol açıyor

\tilde{π} (θ | x) α π (θ) L (θ | x)^{α}

$\tilde\pi(\theta|x)\propto \pi(\theta) L(\theta|x)^\alpha$ Bazı

α > 0

$\alpha>0$ için

(örneğin, bunun hesaplama avantajları olabilir).

Bu ortamda, uygun bir önceliğe sahip olmak, ancak yanlış bir sahte posterior olması mümkün müdür?

bayesian prior posterior

— Robin Ryder
kaynak

Aslında, birkaç dakika sonra, önceki x olabilirlik ürününün farklılığı düşünüldüğünde önceki x olabilirlik ürününün sapması azaldığından, bu olası değildir. Ve daha yavaş sıfıra gidecek olan terimler, uygun olan tarafından kontrol edilir. Benim bahse girerim bu imkansız. (uyarı: Yanlış olduğu biliniyordu!)

— Xi'an

α > 1

$\alpha > 1$

E_{θ ~ π} [L (x | θ)^{α}] ⩾ t^{α} P_{θ ~ π} (L (x | θ) > t) ⟹ E_{θ ~ π} [L (x | θ)^{α}] ⩾ \underset{t > 0}{yudum} t^{α} P_{θ ~ π} (L (x | θ) > t)

$\mathbf{E}_{\theta \sim \pi} \left[ L(x| \theta)^\alpha \right] \geqslant t^\alpha \mathbf{P}_{\theta \sim \pi} (L(x| \theta) > t) \\ \implies \mathbf{E}_{\theta \sim \pi} \left[ L(x| \theta)^\alpha \right] \geqslant \sup_{t > 0} t^\alpha \mathbf{P}_{\theta \sim \pi} (L(x| \theta) > t)$

L (x | θ)

$L(x| \theta)$

Bu argüman için de işe mı? Ayrıca, bu tarzda inşa edilmiş bir olasılığın uygun olacağını kanıtlamanın bir yolu var mı?

α < 1

$\alpha < 1$

— InfProbSciX

Aslında, , olduğunu bildiğimiz için , RHS'deki supremum her zaman sonludur ve , aynı argümanı yapmak için Jensen argümanınızı kullanır. Yani bu konuda argüman başarısız oluyor. Bu argümanın başarılı olması için sınırsız bir olasılığı , yani tüm için olması gerektiğini gösteren küçük bir açıklama .

α = 1

$\alpha =1$

E_{π} [L (x | θ)] < \infty

$\mathbf{E}_{\pi} [L (x | \theta)] < \infty$

α < 1

$\alpha < 1$

L

$L$

P_{π} (L (x | θ) > t) > 0

$\mathbf{P}_\pi (L (x | \theta) > t) > 0$

t

$t$

— 8r8

Doğru, için , iyi bir nokta oluşturamazsınız! Söylemeliyim ki, sınırsız bir olasılık örneği görmek beni büyüleyecektir ! Belki bir beta posterior sınırsız bir olasılığın sonucu olabilir.

α = 1

$\alpha = 1$

— InfProbSciX

Yanıtlar:

İçin $\alpha \leq 1$ , belki de bu böyle bir posterior oluşturmak için imkansız olduğunu göstermek için bir argüman?

$\int \tilde \pi(\theta|x)d\theta = \infty$ için mümkün olup olmadığını öğrenmek istiyoruz .

RHS'de:

\int π (θ) L^{α} (θ | x) d θ = E_{θ} (L^{α} (θ | x))

$\int \pi(\theta) L^{\alpha}(\theta|x) d\theta = E_{\theta}(L^{\alpha}(\theta|x))$

Eğer $\alpha \leq 1$ , $x^{\alpha}$ çok Jensen eşitsizlikle içbükey fonksiyonu şöyledir:

E_{θ} (L^{α} (θ | x)) \leq E_{θ}^{α} (L (θ | x)) = m (x)^{α} < \infty

$E_{\theta}(L^{\alpha}(\theta|x)) \leq E^{\alpha}_{\theta}(L(\theta|x)) = m(x)^\alpha < \infty$

... Xi'an'ın işaret ettiği gibi $m(x)$ normalleştirici sabittir (kanıt).

— InfProbSciX
kaynak

Düzenli, teşekkürler.

için posteriorun doğru olduğu gerçeğini kullanmanız hoşuma gidiyor .

α = 1

$\alpha=1$

— Robin Ryder

Sonucu genel olarak kanıtlamak için sonucu @ InfProbSciX'in cevabında kullanmak mümkündür. Yeniden Yazma $L(\theta\mid x)^\alpha\pi(\theta)$ olarak

L (θ ∣ x)^{α - 1} L (θ ∣ x) π (θ) .

$L(\theta\mid x)^{\alpha-1}L(\theta\mid x)\pi(\theta).$ Eğer

1 \leq α \leq 2

$1 \leq \alpha \leq 2$ , yukarıda Jensen'in eşitsizlik vakası var, çünkü

L (x | θ) π (θ)

$L(x|\theta)\pi(\theta)$ normalleştirilebilir. Benzer şekilde,

2 \leq α \leq 3

$2 \leq \alpha \leq 3$ , yazabiliriz

L (x | θ)^{α - p} L (x | θ)^{p} π (θ),

$L(x|\theta)^{\alpha-p} L(x|\theta)^p\pi(\theta),$ ile

1 \leq p \leq 2

$1 \leq p \leq 2$ , bildiğimiz çünkü yine de aynı durum söz düşen bu

L (x | θ)^{p} π (θ)

$L(x|\theta)^{p}\pi(\theta)$ normalisable olup. Şimdi genel olarak durumu göstermek için (güçlü) indüksiyon kullanılabilir.

Eski yorumlar

Bunun süper faydalı olup olmadığından emin değilim, ancak yorum yapamadığım için bunu bir cevapta bırakacağım. @ InfProbSciX'in $\alpha \leq 1$ ilgili mükemmel yorumuna ek olarak , eğer $L(\theta \mid x) \in L^p$ daha ileri varsayım yaparsa , $1 < \alpha \leq p$ için uygun bir önceye sahip olmak, ancak yanlış bir sahte posterior olması imkansızdır. . Örneğin , nin ikinci ( $p$ th) momentinin mevcut olduğunu bilersek, bunun ( $L(\theta \mid x)$ $L^2$ $L^p$ ) ve bu nedenle sözde posterior $0 \leq \alpha \leq 2$ için uygun olacaktır . Bu notlardaki Bölüm 1 biraz daha ayrıntıya girmektedir, ancak maalesef $L^{10}$ pdfs'nin sınıfının ne kadar geniş olduğu açık değildir . Burada sırayla konuşursam özür dilerim, bunu gerçekten bir yorum olarak bırakmak istedim.

— Luiz Max Carvalho
kaynak

Haklısınız, eğer olasılık fonksiyonu

uzayı içindeyse - yani

uzayı öncekinin indüklediği ölçü için değilse, arka

için uygun olacaktır.

. Burada tamamen tahmin ediyorum, ancak alanın düşünebileceğimiz çoğu olasılığı kapsayacağını düşünüyorum - sanırım

, eğer Riemann ile bütünleşebiliyorsa, o zaman olumlu güçlerinin de olduğunu söyleyen bir kanıt okumuş olabilir .

L (θ | x)

$L(\theta|x)$

L^{p} (π_{θ})

$L^p(\bf {\pi_\theta})$

L^{p}

$L^p$

1 \leq α \leq p

$1 \leq \alpha \leq p$

f

$f$

f^{n}, n \in Z^{+}

$f^n, n \in \mathbb Z^+$ gerçi bütünleşebilir. Referans için Teorem 1.26

— InfProbSciX

@InfProbSciX, sanırım burada gölgelerde tam bir kanıt var. Yanıtınızdan

negatif olabileceğini alıyorum . Eğer bu doğruysa, herhangi bir

için sözde olasılıkın bütünleştirilebileceğini gösterebiliriz, çünkü bütünleştirilebilir fonksiyonların karşılıklılıkları bütünleştirilebilir. Ve eğer olasılık entegre edilebilir ise, arka kısmın entegre olabileceğini , çünkü öncekinin sınırlı olduğunu ve entegre ve sınırlı bir fonksiyonun ürünü entegre edilebilir olduğunu iddia ediyorum ( math.stackexchange.com/a/56008/271610 ). Ne düşündüğü söyle.

α

$\alpha$

p > 1

$p > 1$

— Luiz Max Carvalho

Sorunun açıkça aksini varsaydığı için

olan durumu göz ardı edebileceğinizi düşünüyorum . Herhangi bir genel durum için

entegrasyonunun gösterilmesi gerekmektedir. Ayrıca, önceki her çevrili ise emin, örneğin, bir yoğunluğu şeyler

olmaz.

α < 0

$\alpha < 0$

L^{α}

$L^{\alpha}$

B e t a (0.5, 0.5)

$Beta(0.5, 0.5)$

— InfProbSciX

α < 0

$\alpha < 0$

α > 1

$\alpha > 1$

f

$f$

1 / f

$1/f$

Üzgünüm, bunu özledim, evet ilginç bir girişim yapmış gibi görünüyor!

— InfProbSciX