Çok değişkenli normal posterior

Bu çok basit bir soru ama türetmeyi internette veya kitapta hiçbir yerde bulamıyorum. Bayesilerin çok değişkenli bir normal dağılımı nasıl güncellediğini görmek isterim. Örneğin: hayal edin

\begin{array}{rcl} P (x | μ, Σ) & = & N (μ, Σ) \\ P (μ) & = & N (μ_{0}, Σ_{0}) . \end{array}

$\begin{array}{rcl} \mathbb{P}({\bf x}|{\bf μ},{\bf Σ}) & = & N({\bf \mu}, {\bf \Sigma}) \\ \mathbb{P}({\bf \mu}) &= & N({\bf \mu_0}, {\bf \Sigma_0})\,. \end{array}$

kümesini gözlemledikten sonra ${\bf x_1 ... x_n}$ hesaplamak istiyorum . Cevabın olduğunu biliyoruz burada $\mathbb{P}({\bf \mu | x_1 ... x_n})$ $\mathbb{P}({\bf \mu | x_1 ... x_n}) = N({\bf \mu_n}, {\bf \Sigma_n})$

\begin{array}{rcl} μ_{n} & = & Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} (\frac{1}{n} \sum_{i = 1}^{n} x_{i}) + \frac{1}{n} Σ {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} μ_{0} \\ Σ_{n} & = & Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} \frac{1}{n} Σ \end{array}

$\begin{array}{rcl} \bf \mu_n &=& \displaystyle\Sigma_0 \left(\Sigma_0 + \frac{1}{n}\Sigma\right)^{-1}\left(\frac{1}{n}\sum_{i=1}^{n}{\bf x_i}\right) + \frac{1}{n}\Sigma\left(\Sigma_0+\frac{1}{n}\Sigma\right)^{-1}\mu_0 \\ \bf \Sigma_n & =&\displaystyle \Sigma_0\left(\Sigma_0 + \frac{1}{n}\Sigma\right)^{-1}\frac{1}{n}\Sigma \end{array}$

Bu sonucun tüm ara matris cebiri ile türetilmesini arıyorum.

Herhangi bir yardım çok takdir edilmektedir.

— Alex
kaynak

Aynı zamanda Bayesian Core , Chap. 3, Bölüm 3.2, sayfa 54-57 düşündüğümüz şeyle detaylı matris cebiri!

— Xi'an

OP bunun bir ev ödevi sorunu olmadığını ve neden sorduğunu ve cevabı nasıl kullanmak istediğini açıkladı. Neden başkaları için yayınlamıyorsunuz? Neden bir ev ödevi problem çözme hizmeti sunmak istemediğimizi anlıyorum, ancak bu biraz fazla ileri gidiyor.

— Michael R.Chernick

@Alex: Üzgünüm, yanlış bağlantı, Bayesian Core demek istedim . Ayrıca , arXiv ile ilgili tüm sorunlara çözüm gönderdiğimizi unutmayın . Yani burada tam bir çözüm göndermek zarar vermez!

— Xi'an

Yorumların, soruya özel bir cevap paylaşma düzenlemesi olan bireyler arasındaki özel alışverişe karşılık gelen kısmını sildim. Bu tür şeyler tamamen herkese açık sorular ve genel cevaplarla ilgili olan bu siteyi kötüye kullanıyor .

— whuber

Tıpkı bir FYI gibi, derivasyon Duda, Hart ve Stork tarafından Desen Sınıflandırmasındadır. Ancak, sadece benim için önemli olan bazı adımlarını takip etmekte zorlanıyordum. Eğer bu sadece ödev olsaydı, tam olarak sahip olduklarını yazabilirdi.

— Alex,

Rastgele vektörlerimizdeki dağılımlarla:

$\mathbf x_i | \mathbf \mu \sim N(\mu , \mathbf \Sigma)$

$\mathbf \mu \sim N(\mathbf \mu_0, \mathbf \Sigma_0)$

Bayes'in kuralı ile arka dağılım şöyle görünür:

$p(\mu| \{\mathbf x_i\}) \propto p(\mu) \prod_{i=1}^N p(\mathbf x_i | \mu)$

Yani:

$\ln p(\mu| \{\mathbf x_i\}) = -\frac{1}{2}\sum_{i=1}^N(\mathbf x_i - \mu)'\mathbf \Sigma^{-1}(\mathbf x_i - \mu) -\frac{1}{2}(\mu - \mu_0)'\mathbf \Sigma_0^{-1}(\mu - \mu_0) + const$

$= -\frac{1}{2} N \mu' \mathbf \Sigma^{-1} \mu + \sum_{i=1}^N \mu' \mathbf \Sigma^{-1} \mathbf x_i -\frac{1}{2} \mu' \mathbf \Sigma_0^{-1} \mu + \mu' \mathbf \Sigma_0^{-1} \mu_0 + const$

$= -\frac{1}{2} \mu' (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1}) \mu + \mu' (\mathbf \Sigma_0^{-1} \mu_0 + \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i) + const$

$= -\frac{1}{2}(\mu - (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1}(\mathbf \Sigma_0^{-1} \mu_0 + \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i))' (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1}) (\mu - (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1}(\mathbf \Sigma_0^{-1} \mu_0 + \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i)) + const$

Bir Gaussianın günlük yoğunluğu nedir:

$\mu| \{\mathbf x_i\} \sim N((N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1}(\mathbf \Sigma_0^{-1} \mu_0 + \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i), (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1})$

Kovaryans matrisi için ifademizde Woodbury kimliğini kullanma:

$(N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1} = \mathbf \Sigma(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \frac{1}{N} \mathbf \Sigma_0$

Hangi kovaryans matrisi OP istediğini sağlar. Bu ifadeyi (ve simetrisini), sahip olduğumuz ortalama ifadede daha fazla kullanmak:

$\mathbf \Sigma(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \frac{1}{N} \mathbf \Sigma_0 \mathbf \Sigma_0^{-1} \mu_0 + \frac{1}{N} \mathbf \Sigma_0(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \mathbf \Sigma \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i$

$= \mathbf \Sigma(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \frac{1}{N} \mu_0 + \mathbf \Sigma_0(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \sum_{i=1}^N (\frac{1}{N} \mathbf x_i)$

Hangi OP için ortalama için gereken formdur.

— Konjektürler
kaynak