Bayes analizi için olasılık ve koşullu dağılım

Bayes teoremini şöyle yazabiliriz:

p (θ | x) = \frac{f (X | θ) p (θ)}{\int_{θ} f (X | θ) p (θ) d θ}

$p(\theta|x) = \frac{f(X|\theta)p(\theta)}{\int_{\theta} f(X|\theta)p(\theta)d\theta}$

burada arka, koşullu dağılım ve . $p(\theta|x)$ $f(X|\theta)$ $p(\theta)$

veya

p (θ | x) = \frac{L (θ | x) p (θ)}{\int_{θ} L (θ | x) p (θ) d θ}

$p(\theta|x) = \frac{L(\theta|x)p(\theta)}{\int_{\theta} L(\theta|x)p(\theta)d\theta}$

burada arka, olabilirlik fonksiyonudur ve . $p(\theta|x)$ $L(\theta|x)$ $p(\theta)$

Sorum şu

Bayes analizi neden koşullu dağılım değil olasılık işlevi kullanılarak yapılıyor?
Olasılık ve koşullu dağılım arasındaki farkın ne olduğunu kelimelerle söyleyebilir misiniz? Olasılık bir olasılık dağılımı ve . $L(\theta|x) \propto f(X|\theta)$

bayesian likelihood

— kzoo
kaynak

Fark yok! Olasılık şudur: koşullu dağılımı , orantılıdır, önemli olan budur.

f (X | θ)

$f(X | \theta)$

— kjetil b halvorsen

Önceki parametre yoğunluğuna sahiptir . gerçekleştirilmesi durumunda değerine sahiptir ise rastgele değişken gözlenen değer , olabilirlik fonksiyonu daha sonra değeri olan tam , değer koşullu yoğunluğu arasında . Aradaki fark, için tüm gerçekleşmeleri . Ancak, bir fonksiyonu olarak

Θ

$\Theta$

p_{Θ} (θ)

$p_\Theta(\theta)$

Θ

$\Theta$

θ

$\theta$

x

$x$

X

$X$

L (θ ∣ x)

$L(\theta\mid x)$

f (x ∣ θ)

$f(x\mid \theta)$

f_{X ∣ Θ} (x ∣ Θ = θ)

$f_{X\mid\Theta}(x\mid\Theta=\theta)$

X

$X$

\int_{- \infty}^{\infty} f_{X ∣ Θ} (x ∣ Θ = θ) d x = 1

$\int_{-\infty}^{\infty}f_{X\mid\Theta}(x\mid\Theta=\theta)dx=1$

Θ

$\Theta$

θ

$\theta$ (sabit ), olduğu değil yoğunluk:

x

$x$

L (θ ∣ x)

$L(\theta\mid x)$

\int L (θ ∣ x) d θ \neq 1

$\int L(\theta\mid x)d\theta\neq 1$

— Dilip Sarwate

Yanıtlar:

Varsayalım sahip olduğun göz önüne alındığında koşullu bağımsızdır (değerleri denemenizde gözlemlenecektir) rastgele değişkenler, ile, koşullu yoğunlukları , . Bu (öne) istatistiksel (şartlı) modeli olduğunu ve koşullu yoğunlukları olası her değer için, ekspres (rastgele) parametresi , değerleri hakkında belirsizlik 's, önce herhangi bir erişebilir gerçek veri. Koşullu yoğunlukların yardımıyla, örneğin, koşullu olasılıkları hesaplayabilirsiniz. $X_1,\dots,X_n$ $\Theta=\theta$ $f_{X_i\mid\Theta}(\,\cdot\mid\theta)$ $i=1,\dots,n$ $\theta$ $\Theta$ $X_i$

P {X_{1} \in B_{1}, \dots, X_{n} \in B_{n} ∣ Θ = θ} = \int_{B_{1} \times \dots \times B_{n}} \prod_{i = 1}^{n} f_{X_{i} ∣ Θ} (x_{i} ∣ θ) d x_{1} \dots d x_{n},

$P\{X_1\in B_1,\dots,X_n\in B_n\mid \Theta=\theta\} = \int_{B_1\times\dots\times B_n} \prod_{i=1}^n f_{X_i\mid\Theta}(x_i\mid\theta)\,dx_1\dots dx_n \, ,$ her .

θ

$\theta$

gözlemlenen değerlerinin gerçek bir örneğine ) sonra durum değişir: gözlemlenebilir hakkında artık belirsizlik yok . Rastgele bazı parametre uzayında değerleri aldığını varsayalım . Şimdi, bu bilinen (sabit) değerleri için tanımlama bir fonksiyonu tarafından Bu Not "olabilirlik fonksiyonu" olarak bilinen, bir fonksiyonudur $(x_1,\dots,x_n)$ $X_i$ $X_1,\dots,X_n$ $\Theta$ $\Pi$ $(x_1,\dots,x_n)$

L_{x_{1}, \dots, x_{n}} : Π \to R

$L_{x_1,\dots,x_n} : \Pi \to \mathbb{R} \,$

L_{x_{1}, \dots, x_{n}} (θ) = \prod_{i = 1}^{n} f_{X_{i} ∣ Θ} (x_{i} ∣ θ) .

$L_{x_1,\dots,x_n}(\theta)=\prod_{i=1}^n f_{X_i\mid\Theta}(x_i\mid\theta) \, .$

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

θ

$\theta$ . Bu "verilerinizden sonra" durumunda, olasılığı , düşündüğümüz belirli koşullu model için, bu özel örnekte bulunan parametresi ile ilgili tüm bilgileri içerir . Aslında, için yeterli bir istatistiktir .

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

Θ

$\Theta$

(x_{1}, \dots, x_{n})

$(x_1,\dots,x_n)$

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

Θ

$\Theta$

Sorunuzu cevaplamak, koşullu yoğunluk ve olasılık kavramları arasındaki farkları anlamak için, matematiksel tanımlarını (açıkça farklı olan: farklı özelliklere sahip farklı matematiksel nesnelerdir) aklınızda bulundurun ve ayrıca koşullu yoğunluğun "ön -örnek "nesne / kavram, olasılık ise bir" örnek sonrası "olabilir. Umarım tüm bunlar, Bayes çıkarımının (koyma şeklinizi kullanarak, ideal olduğunu düşünmediğim) neden "koşullu dağılımı değil olasılık işlevini kullanarak" yapıldığını yanıtlamanıza yardımcı olmasını umarız: Bayesci çıkarımın amacı posterior dağılımı hesaplamak ve bunu yapmak için gözlenen (bilinen) veriler üzerinde koşullandırma yaparız .

— Zen
kaynak

Bence Zen, olasılık ve koşullu olasılıkların farklı olduğunu söylediğinde doğru. Olabilirlik fonksiyonunda θ rastgele bir değişken değildir, bu nedenle koşullu olasılıktan farklıdır.

— Martine

Orantılılık, analizi basitleştirmek için kullanılır

Bayes analizi genellikle Bayes teoreminin daha da basit bir ifadesiyle yapılır , burada yalnızca ilgili parametreyle orantılılık açısından çalışırız. Örnekleme yoğunluğu olan standart bir IID modeli için bunu şu şekilde ifade edebiliriz: $f(X|\theta)$

p (θ | x) \propto L_{x} (θ) \cdot p (θ) L_{x} (θ) \propto \prod_{i = 1}^{n} f (x_{i} | θ) .

$p(\theta|\mathbf{x}) \propto L_\mathbf{x}(\theta) \cdot p(\theta) \quad \quad \quad \quad L_\mathbf{x}(\theta) \propto \prod_{i=1}^n f(x_i|\theta).$

Bayesian güncellemesinin bu beyanı parametresiyle orantılılık açısından çalışır . İki orantısal basitleştirme kullanır: biri olasılık fonksiyonunun kullanımında (örnekleme yoğunluğu ile orantılı) ve diğeri posteriorda (olasılık ve önceki ürünle orantılı). Posterior bir yoğunluk fonksiyonu olduğundan (sürekli durumda), norm kuralı daha sonra geçerli bir yoğunluk (yani, bire entegre olmasını sağlamak için) gereken çarpma sabitini ayarlar. $\theta$

Orantılılığın bu yöntem kullanımı, parametresine bağlı olmayan fonksiyonların çarpma elemanlarını yok saymamıza izin verme avantajına sahiptir . Bu, matematiğin gereksiz kısımlarını süpürmemize ve güncelleme mekanizmasının daha basit ifadelerini almamıza izin vererek sorunu basitleştirme eğilimindedir. Bu matematiksel bir gereklilik değildir (Bayes kuralı oransal olmayan biçimde de çalıştığından), ancak küçük hayvan beyinlerimiz için işleri daha basit hale getirir . $\theta$

Uygulanan bir örnek: Gözlenen veriler olan bir IID modeli düşünün . Analizimizi kolaylaştırmak için ve , ilk iki örnek an. Bu model için örnekleme yoğunluğumuz var: $X_1, ..., X_n \sim \text{IID N}(\theta, 1)$ $\bar{x} = \tfrac{1}{n} \sum_{i=1}^n x_i$ $\bar{\bar{x}} = \tfrac{1}{n} \sum_{i=1}^n x_i^2$

\begin{aligned} f (x | θ) = \prod_{i = 1}^{n} f (x_{i} | θ) & = \prod_{i = 1}^{n} N (x_{i} | θ, 1) \\ = \prod_{i = 1}^{n} \frac{1}{\sqrt{2 π}} \exp (- \frac{1}{2} (x_{i} - θ)^{2}) \\ = (2 π)^{n / 2} \exp (- \frac{1}{2} \sum_{i = 1}^{n} (x_{i} - θ)^{2}) . \\ = (2 π)^{n / 2} \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ + \bar{\bar{x}})) \\ = (2 π)^{n / 2} \exp (- \frac{n \bar{\bar{x}}}{2}) \cdot \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \end{aligned}

$\begin{equation} \begin{aligned} f(\mathbf{x}|\theta) = \prod_{i=1}^n f(x_i|\theta) &= \prod_{i=1}^n \text{N}(x_i|\theta,1) \\[6pt] &= \prod_{i=1}^n \frac{1}{\sqrt{2 \pi}} \exp \Big( -\frac{1}{2} (x_i-\theta)^2 \Big) \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{1}{2} \sum_{i=1}^n (x_i-\theta)^2 \Big). \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta + \bar{\bar{x}} ) \Big) \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{n \bar{\bar{x}}}{2} \Big) \cdot \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \\[6pt] \end{aligned} \end{equation}$

Şimdi, istersek doğrudan bu örnekleme yoğunluğu ile çalışabiliriz. Ancak bu yoğunluktaki ilk iki terimin bağlı olmayan çarpma sabitleri olduğuna dikkat edin . Bu terimleri takip etmek can sıkıcıdır, bu yüzden onlardan kurtulalım, bu yüzden olasılık fonksiyonuna sahibiz: $\theta$

L_{x} (θ) = \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) .

$L_\mathbf{x}(\theta) = \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big).$

Ek bir terimi takip etmek zorunda olmadığımız için bu, işleri biraz basitleştirir. Şimdi, Bayes kuralını, integral payda da dahil olmak üzere tam denklem versiyonunu kullanarak uygulayabiliriz. Ama yine de, bu bize bağlı olmayan başka bir can sıkıcı çarpma sabitini takip etmemizi gerektirir (daha sinir bozucu çünkü onu elde etmek için bir integrali çözmemiz gerekir). Şimdi Bayes kuralını orantılı biçiminde uygulayalım. Önceki , bilinen bazı hassas parametrelerle , aşağıdaki sonucu elde ederiz ( kareyi tamamlayarak ): $\theta$ $\theta \sim \text{N}(0,\lambda_0)$ $\lambda_0>0$

\begin{aligned} p (θ | x) & \propto L_{x} (θ) \cdot p (θ) \\ = \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \cdot N (θ | 0, λ_{0}) \\ \propto \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \cdot \exp (- \frac{λ_{0}}{2} θ^{2}) \\ = \exp (- \frac{1}{2} (n θ^{2} - 2 n \bar{x} θ + λ_{0} θ^{2})) \\ = \exp (- \frac{1}{2} ((n + λ_{0}) θ^{2} - 2 n \bar{x} θ)) \\ = \exp (- \frac{n + λ_{0}}{2} (θ^{2} - 2 \frac{n \bar{x}}{n + λ_{0}} θ)) \\ \propto \exp (- \frac{n + λ_{0}}{2} (θ - \frac{n}{n + λ_{0}} \cdot \bar{x})^{2}) \\ \propto N (θ | \frac{n}{n + λ_{0}} \cdot \bar{x}, n + λ_{0}) . \end{aligned}

$\begin{equation} \begin{aligned} p(\theta|\mathbf{x}) &\propto L_\mathbf{x}(\theta) \cdot p(\theta) \\[10pt] &= \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \cdot \text{N}(\theta|0,\lambda_0) \\[6pt] &\propto \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \cdot \exp \Big( -\frac{\lambda_0}{2} \theta^2 \Big) \\[6pt] &= \exp \Big( -\frac{1}{2} ( n\theta^2 - 2n\bar{x} \theta + \lambda_0 \theta^2 ) \Big) \\[6pt] &= \exp \Big( -\frac{1}{2} ( (n+\lambda_0) \theta^2 - 2n\bar{x} \theta ) \Big) \\[6pt] &= \exp \Big( -\frac{n+\lambda_0}{2} \Big( \theta^2 - 2 \frac{n\bar{x}}{n+\lambda_0} \theta \Big) \Big) \\[6pt] &\propto \exp \Big( -\frac{n+\lambda_0}{2} \Big( \theta - \frac{n}{n+\lambda_0} \cdot \bar{x} \Big)^2 \Big) \\[6pt] &\propto \text{N}\Big( \theta \Big| \frac{n}{n+\lambda_0} \cdot \bar{x}, n+\lambda_0 \Big). \\[6pt] \end{aligned} \end{equation}$

Böylece, bu çalışmadan posterior dağılımın normal yoğunlukla orantılı olduğunu görebiliriz. Posterior bir yoğunluk olması gerektiğinden , posteriorun normal yoğunluk olduğu anlamına gelir :

p (θ | x) = N (θ | \frac{n}{n + λ_{0}} \cdot \bar{x}, n + λ_{0}) .

$p(\theta|\mathbf{x}) = \text{N}\Big( \theta \Big| \frac{n}{n+\lambda_0} \cdot \bar{x}, n+\lambda_0 \Big).$

Bu nedenle, parametresinin bir posteriori değerinin normal olarak posterior ortalama ve varyans ile dağıtıldığını görüyoruz : $\theta$

E (θ | x) = \frac{n}{n + λ_{0}} \cdot \bar{x} V (θ | x) = \frac{1}{n + λ_{0}} .

$\mathbb{E}(\theta|\mathbf{x}) = \frac{n}{n+\lambda_0} \cdot \bar{x} \quad \quad \quad \quad \mathbb{V}(\theta|\mathbf{x}) = \frac{1}{n+\lambda_0}.$

Şimdi, elde ettiğimiz posterior dağılımın önünden bir entegrasyon sabiti vardır (ki bu normal dağılımın formuna bakarak kolayca bulabiliriz ). Ancak, bu çarpımsal sabit hakkında endişelenmemiz gerekmediğine dikkat edin - bu, matematiği basitleştirdiğinde tüm çalışmalarımız çarpma sabitlerini kaldırdı (veya getirdi). Çarpıcı sabitleri takip ederken aynı sonuç elde edilebilir, ancak bu çok daha karışıktır.

— Ben - Monica'yı eski durumuna döndür
kaynak

Bence Zen'in cevabı, rastgele değişkenlerin olasılık fonksiyonunun ve eklem yoğunluğunun kavramsal olarak ne kadar farklı olduğunu söylüyor. Hala matematiksel olarak hem x s hem de θ bir fonksiyonu olarak ve bu anlamda olasılık bir olasılık yoğunluğu olarak görülebilir. Bayes posterior dağılımı için formülde işaret ettiğiniz fark sadece gösterimsel bir farktır. Ancak farkın inceliği Zen'in cevabında güzel bir şekilde açıklanmıştır. $_i$

Bu konu, olasılık işlevi ile ilgili olarak bu sitede tartışılan diğer sorularda ortaya çıkmıştır. Ayrıca kjetil ve Dilip'in diğer yorumları da söylediklerimi destekliyor gibi görünüyor.

— Michael R. Chernick
kaynak