Hatalı bir önceki, uygun bir posterior dağılıma nasıl yol açar?

Önceden uygun bir dağıtım durumunda,

$P(\theta \mid X) = \dfrac{P(X \mid \theta)P(\theta)}{P(X)}$

$\propto P(X \mid \theta)P(\theta)$ .

Bu adım için olağan gerekçelendirme, , in marjinal dağılımının açısından sabittir ve böylece posterior dağılımı elde ederken göz ardı edilebilir olmasıdır. $X$ $P(X)$ $\theta$

Ancak, uygunsuz bir öncelik durumunda, posterior dağılımın gerçekten var olduğunu nereden biliyorsunuz? Bu görünüşte dairesel tartışmada eksik olan bir şey var gibi görünüyor. Başka bir deyişle, eğer postererin var olduğunu varsayarsam, posteriorun nasıl türetileceğinin mekaniğini anlıyorum, ama neden var olduğuna dair teorik gerekçeleri eksik gibi görünüyorum.

PS Ayrıca, uygunsuz bir öncünün uygunsuz bir posterior yol açtığı durumlar olduğunu kabul ediyorum.

— jsk
kaynak

Yanıtlar:

Genellikle uygunsuz sabıkası gelen posteriors kabul eğer var ve geçerli bir olasılık dağılımıdır (yani destek üzerinden tam olarak 1 ile bütünleşir). Temelde bu sonlu olmak üzere kadar kaynar . Bu durumda, o zaman bu miktar diyoruz ve kabul istediğimiz o arka dağılımı olarak. Bununla birlikte, bunun bir posterior dağılım DEĞİL olduğunu veya şartlı bir olasılık dağılımı olmadığını unutmamak önemlidir (bu iki terim burada bağlamda eş anlamlıdır). $\pi(\theta)$

\frac{π (X ∣ θ) π (θ)}{π (X)}

$\frac{\pi(X \mid \theta) \pi(\theta)}{\pi(X)}$

π (X) = \int π (X ∣ θ) π (θ) d θ

$\pi(X) = \int \pi(X \mid \theta) \pi(\theta) \,d\theta$

π (θ ∣ X)

$\pi(\theta \mid X)$

Şimdi, yukarıda verilen uygunsuz önceliklerden gelen 'posterior' dağıtımları kabul ettiğimizi söyledim . Kabul edilmelerinin nedeni, önceki parametresi üzerinde bize hala göreceli 'puanlar' vermesidir; yani, anlam katıyor. Uygun olmayan önceliklerden aldığımız anlam, bazı durumlarda uygun önceliklerde bulunmayabilir. Bu onları kullanmak için potansiyel bir gerekçedir. Uygun olmayan öncelikler için pratik motivasyonun daha ayrıntılı bir incelemesi için Sergio'nun cevabına bakınız. $\pi(\theta)$ $\frac{\pi(\theta_1)}{\pi(\theta_2)}$

Bu miktar de istenen teorik özelliklere sahip olduğunu belirtmeye değer , Degroot & Schervish : $\pi(\theta \mid X)$

Uygun olmayan öncelikler gerçek olasılık dağılımları değildir, ancak öyle olduklarını iddia edersek, önceki hiperparametrelerin aşırı değerleri ile uygun eşlenik değerler kullanarak elde edeceğimiz posterleri yaklaşık olarak tahmin eden arka dağılımları hesaplayacağız.

Cevabınızdaki birkaç şeyle kafam karıştı. Yukarıdakilerin sınırlı olması durumunda posterleri kabul ettiğimizi söylüyorsunuz. Bu, integral sonlu değilse, posterior sonlu olmayacağı anlamına mı geliyor? Ayrıca, bu durumda postereri kullandığımızı ima ediyor gibi görünüyorsunuz, ancak bu gerçek bir dağılım değil, doğru mu? Gerçek bir dağıtım olduğu durumlar yok mu? Ayrıca, önceliklerin oranının bununla ne ilgisi var? Bağlantıyı göremiyorum.

— Ben Elizabeth Ward

@BenElizabethWard

varsa, o zaman integral

olmalı (ve dolayısıyla sonlu olmalıdır). Contrapositive yanı doğrudur: eğer

yapar, sonra (sonsuzdur) mevcut değil

yok. Var olduğu ve geçerli bir olasılık dağılımı olduğu zaman,

bir olasılık dağılımıdır. Ancak, verilen veri olasılığı ile

için bir posterior dağılım değildir.

π (θ ∣ X)

$\pi(\theta \mid X)$

π (X)

$\pi(X)$

π (X)

$\pi(X)$

π (θ ∣ X)

$\pi(\theta \mid X)$

π (θ ∣ X)

$\pi(\theta \mid X)$

π (θ)

$\pi(\theta)$

. Bunun için posterior mevcut değil. Analizimizde

kabulediyoruz, çünkü bu bir yaklaşımdır.

π (X ∣ θ)

$\pi(X \mid \theta)$

π (θ ∣ X)

$\pi(\theta \mid X)$

@BenElizabethWard Bu oran, öncekinin daha önce uygun bir önceye yükleyemeyeceğimiz için faydalı bilgiler içerdiğini göstermek için kullanıldı. Bunu eklemek için cevabımı düzenleyeceğim.

@jsk

bir olasılık dağılımı değildir, ancak posterior dağılımın tanımı

olasılık dağılımını gerektirir, bu yüzden olasılık dağılımı olduğunda

poster dağılımını hile yapmak gerekir. Degroot & Schervish, “..senin uygun olmayan önceliğin [uygun öncelikler] olduklarını” iddia ettiklerini varsaydıklarını söyleyen posterior dağılımları hesaplayacağız.

π (θ)

$\pi(\theta)$

π (θ)

$\pi(\theta)$

π (θ ∣ X)

$\pi(\theta \mid X)$

Yanıtınızı eksiksiz ve kendi kendine yeterli hale getirmek için gelecekteki okuyucuların bu yorum alışverişini okumak zorunda kalmamasını sağlamak için cevabınızı güncellemek ister misiniz?

— jsk

Bir "teorik" cevap ve "pragmatik" bir cevap var.

Teorik bir bakış açısına göre, bir öncek uygun olmadığında, posterior mevcut değildir (peki, Matthew'ün daha sağlıklı bir ifadeye verdiği cevaba bakınız), ancak sınırlayıcı bir formla yaklaşılabilir.

Veri parametresi Bernoulli dağılımı ile ilgili şartlı iid örneği içermesi halinde ve parametreleri beta dağılımına sahiptir ve , posterior dağılımı parametreleri beta dağılımı ( gözlemler, başarıları) ve ortalamasıdır $\theta$ $\theta$ $\alpha$ $\beta$ $\theta$ $\alpha + s, \beta+n-s$ $n$ $s$ $(\alpha+s)/(\alpha+\beta+n)$ . Eğer önceki hipeparametreler önce uygunsuz (ve gerçek dışı) beta dağılımını kullanırsak ve gibi davranırsak, to orantılı bir posterior elde , yani beta dağılımının pdf, ve parametreleriyle birlikte $\alpha=\beta=0$ $\pi(\theta)\propto\theta^{-1}(1-\theta)^{-1}$ $\theta^{s-1}(1-\theta)^{n-s-1}$ $s$ $n-s$ sabit bir faktör hariç. Bu parametreler ile, önceki bir beta için posterior sınırlandırıcı biçimi ve (DeGroot ve Schervish, Örnek 7.3.13). $\alpha\to 0$ $\beta\to 0$

Ortalama ile normal bir modelde , bilinen varyans ve için dağıtım ağının eğer önce hassas, , veri hassas göre küçük olduğu , sonra posterior dağılım yaklaşık olarak : $\theta$ $\sigma^2$ $\mathcal{N}(\mu_0,\tau^2_0)$ $\theta$ $1/\tau^2_0$ $n/\sigma^2$ $\tau^2_0=\infty$ , yani arka dağıtım katlanmanın elde edilebilecekten yaklaşıkiçin bir sabit ile orantılıdır, sıkı bir şekilde mümkün olmayan bir dağılım, ama sınırlayıcı bir şekilde olarak posterior yaklaşımlarvar mıdır (Gelman ve ark., s. 52).

p (θ ∣ x) \approx N (θ ∣ \bar{x}, σ^{2} / n)

$p(\theta\mid x)\approx \mathcal{N}(\theta\mid\bar{x},\sigma^2/n)$

p (θ)

$p(\theta)$

θ \in (- \infty, \infty)

$\theta\in(-\infty,\infty)$

τ_{0}^{2}

$\tau^2_0$

\infty

$\infty$

Görüş "pragmatik" bir bakış açısından, olduğunda olursa olsun ise, eğer öyleyse içinde , sonra $p(x\mid\theta)p(\theta)=0$ $p(x\mid\theta)=0$ $p(\theta)$ $p(x\mid\theta)\ne 0$ $(a,b)$ . Olasılığınkayda değer olduğu bölgedeki önceki dağılımınyereldavranışınıtemsil etmek için uygunsuz öncelikler kullanılabilir, örneğin . Yeterli bir yaklaşıma farz edersek, önceki bir veya gibi formları izler. $\int_{-\infty}^{\infty}p(x\mid\theta)p(\theta)d\theta=\int_a^b p(x\mid\theta)p(\theta)d\theta$ $(a,b)$ $f(x)=k, x\in(-\infty,\infty)$ yalnızca , bu aralığın dışında uygun bir şekilde sıfıra indiğinde, gerçekten kullanılan önceliklerin uygun olduğundan emin oluruz (Box ve Tiao, s. 21 ). Önceden dağılımı Yani eğer olan ama sınırlanan, bu gibi bir $f(x)=kx^{-1}, x\in(0,\infty)$ $(a,b)$ $\theta$ $\mathcal{U}(-\infty,\infty)$ $(a,b)$ örneğin, . Somut bir örnek olarak, bu durumun böyle olurStan: önceden hiçbir parametre için belirtilmişse, bu örtük onun desteğine tekdüze önce verilir ve bu bir sabit tarafından olasılığının çarpımı olarak ele alınır. $\theta\sim\mathcal{U}(a,b)$ $p(x\mid\theta)p(\theta)=p(x\mid\theta)k\propto p(x\mid\theta)$

— Sergio
kaynak

Neden teorik bir bakış açısı olmadığı hakkında daha fazla bilgi verebilir misiniz?

— jsk

Cevaplarında ve yorumlarında Matthew'dan daha iyi söz edemedim.

— Sergio

Pragmatik bölümünde, y nedir? Ayrıca bu bölümde,

terimlerinden bazıları

mi?

p (θ ∣ x)

$p(\theta \mid x)$

p (x ∣ θ)

$p(x\mid \theta)$

— jsk

P (θ) = k x^{- 1}

$P(\theta)=kx^{-1}$

x

$x$

P (θ) = k θ^{- 1}

$P(\theta)=k\theta^{-1}$

y

$y$

x

$x$

ξ (.)

$\xi(.)$

Ancak, uygunsuz bir öncelik durumunda, posterior dağılımın gerçekten var olduğunu nereden biliyorsunuz?

Posterior da uygun olmayabilir. Öncelik uygun değilse ve ihtimal düzse (anlamlı bir gözlem olmadığından), poster öncekine eşittir ve aynı zamanda uygunsuzdur.

Genellikle bazı gözlemleriniz olur ve genellikle olasılık düz değildir, bu yüzden posterior uygundur.

— Neil G
kaynak