Analitik bir forma sahip olmak için yeterince basit olabileceği zaman bir posterior dağılım bulmaya yönelik adımlar?

Bu aynı zamanda Hesaplamalı Bilim'de de sorulmuştur .

Ben 11 veri örnekleri ile, bir otomatik için bazı katsayılar Bayesian bir tahmin hesaplamaya çalışıyorum: nerede ortalama 0 ve varyans ile Vektör üzerindeki önceki dağılım ortalama ile Gauss ve ortalama ile çapraz kovaryans matrisi eşit çapraz girişler .

Y_{i} = μ + α \cdot Y_{i - 1} + ϵ_{i}

$Y_{i} = \mu + \alpha\cdot{}Y_{i-1} + \epsilon_{i}$

ϵ_{i}

$\epsilon_{i}$

σ_{e}^{2}

$\sigma_{e}^{2}$

(μ, α)^{t}

$(\mu, \alpha)^{t}$

(0, 0)

$(0,0)$

σ_{p}^{2}

$\sigma_{p}^{2}$

formülüne dayanarak, bu veri noktalarının ( ) dağılımının ortalama ve varyans . Bu nedenle, tüm veri noktalarının birlikte yoğunluğu yazdığım program için iyi olduğu varsayıldığında): $Y_{i}$ $\mu + \alpha\cdot{}Y_{i-1}$ $\sigma_{e}^{2}$ $(Y)$

p (Y | (μ, α)^{t}) = \prod_{i = 2}^{11} \frac{1}{\sqrt{2 π σ_{e}^{2}}} \exp \frac{- (Y_{i} - μ - α \cdot Y_{i - 1})^{2}}{2 σ_{e}^{2}} .

$p(Y \quad | (\mu, \alpha)^{t}) = \prod_{i=2}^{11}\frac{1}{\sqrt{2\pi\sigma_{e}^{2}}}\exp{\frac{-(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2}}{2\sigma_{e}^{2}}}.$

Bayes teoremi ile yukarıdaki yoğunluğun ürününü önceki yoğunlukla alabiliriz ve sonra normalleştirme sabitine ihtiyacımız olur. Benim önsezim bunun bir Gauss dağılımı olması gerektiği için çalışması gerekiyor, bu yüzden açıkça ve üzerinde integrallerle hesaplamak yerine, normalleştirme sabitinin sonunda endişelenebiliriz . $\mu$ $\alpha$

Sorun yaşadığım kısım bu. Önceki yoğunluğun (çok değişkenli) ve bu tek değişkenli veri yoğunluklarının çarpımını nasıl hesaplayabilirim? Posteriorun tamamen ve yoğunluğu olması gerekir , ancak bunu böyle bir üründen nasıl çıkaracağınızı göremiyorum. $\mu$ $\alpha$

Beni doğru yönde işaret etseniz ve dağınık cebiri yapmam gerekse bile herhangi bir işaretçi gerçekten yararlıdır (zaten birkaç kez denediğim şey budur).

Bir başlangıç noktası olarak, Bayes kuralından payın şekli şöyledir:

\frac{1}{(2 π σ_{e}^{2})^{5} \cdot 2 π σ_{p}^{2}} \exp [\frac{1}{2 σ_{e}^{2}} \sum_{i = 2}^{11} (Y_{i} - μ - α \cdot Y_{i - 1})^{2} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}] .

$\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ \frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }.$

Sorun, bunun Gauss yoğunluğuna düştüğünü görmek . $(\mu, \alpha)^{t}$

Katma

Sonuçta, bu aşağıdaki genel probleme dayanır. gibi karesel bir ifade verilirse, bunu karesel bir forma nasıl yerleştirirsiniz 2x2 matris için ? Kolay durumlarda yeterince basit, ama ortalama tahminleri elde etmek için hangi işlemi kullanıyorsunuz, ve ?

A μ^{2} + B μ α + C α^{2} + J μ + K α + L

$A\mu^{2} + B\mu\alpha + C\alpha^{2} + J\mu + K\alpha + L$

(μ - \hat{μ}, α - \hat{α}) Q (μ - \hat{μ}, α - \hat{α})^{t}

$(\mu-\hat{\mu},\alpha-\hat{\alpha})Q(\mu-\hat{\mu},\alpha-\hat{\alpha})^{t}$

Q

$Q$

\hat{μ}

$\hat{\mu}$

\hat{α}

$\hat{\alpha}$

Not, matris formülünü genişletmek ve sonra yukarıdaki gibi katsayıları eşitlemeye çalışmak için basit bir seçenek denedim. Benim durumumda sorun, sabit nin sıfır olması ve sonra iki bilinmeyende üç denklem elde etmemdir, bu nedenle (sadece simetrik kuadratik form matrisi varsayalım) katsayılarla eşleşecek şekilde belirlenememiştir. $L$

bayesian mathematical-statistics posterior

— ely
kaynak

[Bu soruya] cevabım ( stats.stackexchange.com/questions/22852/… ) yardımcı olabilir. İlk gözleminiz için bir önceliğe ihtiyacınız olduğunu unutmayın - iterasyonlar burada durur.

— probabilityislogic

Bu durumda neden ihtiyacım olduğunu anlamıyorum. Zaman aralıklarını gözlem göz önüne alındığında şartlı olarak bağımsızmış gibi ele almam gerekiyor. Eklem yoğunluğunun ürününün sadece . Burada sıralı olarak güncellenmiş bir formül almam gerektiğini düşünmüyorum, posterior için sadece tek bir formül .

i = 2..11

$i=2..11$

p ((μ, α)^{t} | Y)

$p((\mu,\alpha)^{t}\quad |Y)$

— ely

Önceki içindeki "çok değişkenli", veri yoğunluklarındaki "tek değişkenli" ile çelişmez, çünkü bunlar 'lerin yoğunluklarıdır .

p (α, μ)

$p(\alpha,\mu)$

y_{i}

$y_i$

— Xi'an

Önceki cevaba cevabımdaki ipucu, parametreleri nasıl entegre ettiğime bakmak - çünkü burada tamamen aynı integralleri yapacaksınız. Sorunuz bilinen varyans parametrelerini varsayar, bu nedenle bunlar sabittir. Yalnızca payın bağımlılığına bakmanız gerekir . Bunu görmek için şunu yazabileceğimizi unutmayın: $\alpha,\mu$

p (μ, α | Y) = \frac{p (μ, α) p (Y | μ, α)}{\int \int p (μ, α) p (Y | μ, α) d μ d α}

$p(\mu,\alpha|Y)=\frac{p(\mu,\alpha)p(Y|\mu,\alpha)}{\int\int p(\mu,\alpha)p(Y|\mu,\alpha)d\mu d\alpha}$

= \frac{\frac{1}{(2 π σ_{e}^{2})^{5} \cdot 2 π σ_{p}^{2}} \exp [- \frac{1}{2 σ_{e}^{2}} \sum_{i = 2}^{11} (Y_{i} - μ - α \cdot Y_{i - 1})^{2} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}]}{\int \int \frac{1}{(2 π σ_{e}^{2})^{5} \cdot 2 π σ_{p}^{2}} \exp [- \frac{1}{2 σ_{e}^{2}} \sum_{i = 2}^{11} (Y_{i} - μ - α \cdot Y_{i - 1})^{2} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}] d μ d α}

$=\frac{\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }}{\int\int \frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }d\mu d\alpha}$

İlk faktörü edin payda üzerindeki çift katlı integralden oluşur ve pay ile iptal edilir. Ayrıca ile iptal edilir. Kaldığımız integral şimdi (kare terimini genişlettikten sonra): $\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}}$ $\exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}Y_{i}^{2} \biggr ]}$

= \frac{\exp [- \frac{10 μ^{2} + α^{2} \sum_{i = 1}^{10} Y_{i}^{2} - 2 μ \sum_{i = 2}^{11} Y_{i} - 2 α \sum_{i = 2}^{11} Y_{i} Y_{i - 1} + 2 μ α \sum_{i = 1}^{10} Y_{i}}{2 σ_{e}^{2}} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}]}{\int \int \exp [- \frac{10 μ^{2} + α^{2} \sum_{i = 1}^{10} Y_{i}^{2} - 2 μ \sum_{i = 2}^{11} Y_{i} - 2 α \sum_{i = 2}^{11} Y_{i} Y_{i - 1} + 2 μ α \sum_{i = 1}^{10} Y_{i}}{2 σ_{e}^{2}} - \frac{μ^{2}}{2 σ_{p}^{2}} - \frac{α^{2}}{2 σ_{p}^{2}}] d μ d α}

$=\frac{\exp{\biggl [ -\frac{10\mu^2+\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\mu\sum_{i=2}^{11}Y_i-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}+2\mu\alpha\sum_{i=1}^{10}Y_i}{2\sigma_{e}^{2}} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }}{\int\int \exp{\biggl [ -\frac{10\mu^2+\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\mu\sum_{i=2}^{11}Y_i-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}+2\mu\alpha\sum_{i=1}^{10}Y_i}{2\sigma_{e}^{2}} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }d\mu d\alpha}$

Şimdi normal pdf'den genel bir sonuç kullanabiliriz.

\int \exp (- a z^{2} + b z - c) d z = \sqrt{\frac{π}{a}} \exp (\frac{b^{2}}{4 a} - c)

$\int \exp\left(-az^2+bz-c\right)dz=\sqrt{\frac{\pi}{a}}\exp\left(\frac{b^2}{4a}-c\right)$ Bu, üzerindeki tamamlanmasından ve bağlı olmadığını belirtmekten kaynaklanır . üzerindeki iç integralin bu formda ve ve . Bu integrali yaptıktan sonra, üzerinden kalan integralin

- a z^{2} + b z

$-az^2+bz$

c

$c$

z

$z$

μ

$\mu$

a = \frac{10}{2 σ_{e}^{2}} + \frac{1}{2 σ_{p}^{2}}

$a=\frac{10}{2\sigma^2_e}+\frac{1}{2\sigma^2_p}$

b = \frac{\sum_{i = 2}^{11} Y_{i} - α \sum_{i = 1}^{10} Y_{i}}{σ_{e}^{2}}

$b=\frac{\sum_{i=2}^{11}Y_i-\alpha\sum_{i=1}^{10}Y_i}{\sigma_{e}^{2}}$

c = \frac{α^{2} \sum_{i = 1}^{10} Y_{i}^{2} - 2 α \sum_{i = 2}^{11} Y_{i} Y_{i - 1}}{2 σ_{e}^{2}} + \frac{α^{2}}{2 σ_{p}^{2}}

$c=\frac{\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}}{2\sigma_{e}^{2}}+ \frac{\alpha^{2}}{2\sigma_{p}^{2}}$

α

$\alpha$ bu formda da olduğundan, bu formülü farklı ile tekrar kullanabilirsiniz . Ardından posteriorunuzu şeklinde yazabilmelisiniz. a, matris

a, b, c

$a,b,c$

\frac{1}{2 π | V |^{\frac{1}{2}}} \exp [- \frac{1}{2} (μ - \hat{μ}, α - \hat{α}) V^{- 1} (μ - \hat{μ}, α - \hat{α})^{T}]

$\frac{1}{2\pi|V|^{\frac{1}{2}}}\exp\left[-\frac{1}{2}(\mu-\hat{\mu},\alpha-\hat{\alpha})V^{-1}(\mu-\hat{\mu},\alpha-\hat{\alpha})^T\right]$

V

$V$

2 \times 2

$2\times 2$

Daha fazla ipucuna ihtiyacınız varsa bana bildirin.

Güncelleme

(Not: Doğru formül olmalıdır yerine ) $10\mu^2$ $\mu^2$

güncellemede yazdığınız kuadratik forma bakarsak, katsayı olduğunu fark ederiz ( paydada her zaman iptal edecek herhangi bir sabit ekleyebileceğimiz için arkaya ilgisizdir). Ayrıca bilinmeyen . Bu nedenle, denklemler doğrusal olarak bağımsız olduğu sürece bu "iyi pozlanmış" bir sorundur. İkinci dereceden ederiz: $5$ $L$ $5$ $\hat{\mu},\hat{\alpha},Q_{11},Q_{12}=Q_{21},Q_{22}$ $(\mu-\hat{\mu},\alpha-\hat{\alpha})Q(\mu-\hat{\mu},\alpha-\hat{\alpha})^{t}$

Q_{11} (μ - \hat{μ})^{2} + Q_{22} (α - \hat{α})^{2} + 2 Q_{12} (μ - \hat{μ}) (α - \hat{α})

$Q_{11}(\mu-\hat{\mu})^2+Q_{22}(\alpha-\hat{\alpha})^2+2Q_{12}(\mu-\hat{\mu})(\alpha-\hat{\alpha})$

= Q_{11} μ^{2} + 2 Q_{21} μ α + Q_{22} α^{2} - (2 Q_{11} \hat{μ} + 2 Q_{12} \hat{α}) μ - (2 Q_{22} \hat{α} + 2 Q_{12} \hat{μ}) α +

$=Q_{11}\mu^{2} + 2Q_{21}\mu\alpha + Q_{22}\alpha^{2} - (2Q_{11}\hat{\mu}+2Q_{12}\hat{\alpha})\mu - (2Q_{22}\hat{\alpha}+2Q_{12}\hat{\mu})\alpha +$

+ Q_{11} {\hat{μ}}^{2} + Q_{22} {\hat{α}}^{2} + 2 Q_{12} \hat{μ} \hat{α}

$+Q_{11}\hat{\mu}^2+Q_{22}\hat{\alpha}^2+2Q_{12}\hat{\mu}\hat{\alpha}$

İkinci mertebe katsayısını karşılaştırdığımızda , bize (ters) kovaryans matrisinin neye benzediğini söyleyen elde edilir. Ayrıca , yerine geçtikten sonra için biraz daha karmaşık iki denklemimiz var . Bunlar matris biçiminde şu şekilde yazılabilir: $A=Q_{11},B=2Q_{12},C=Q_{22}$ $\hat{\alpha},\hat{\mu}$ $Q$

- (\begin{matrix} 2 A & B \\ B & 2 C \end{matrix}) (\begin{matrix} \hat{μ} \\ \hat{α} \end{matrix}) = (\begin{matrix} J \\ K \end{matrix})

$-\begin{pmatrix}2A & B \\ B & 2C\end{pmatrix} \begin{pmatrix}\hat{\mu} \\ \hat{\alpha}\end{pmatrix} = \begin{pmatrix}J \\ K\end{pmatrix}$

Böylece tahminler şu şekilde verilir:

(\begin{matrix} \hat{μ} \\ \hat{α} \end{matrix}) = - {(\begin{matrix} 2 A & B \\ B & 2 C \end{matrix})}^{- 1} (\begin{matrix} J \\ K \end{matrix}) = \frac{1}{4 A C - B^{2}} (\begin{matrix} B K - 2 J C \\ B J - 2 K A \end{matrix})

$\begin{pmatrix}\hat{\mu} \\ \hat{\alpha}\end{pmatrix} = -\begin{pmatrix}2A & B \\ B & 2C\end{pmatrix}^{-1}\begin{pmatrix}J \\ K\end{pmatrix}=\frac{1}{4AC-B^2}\begin{pmatrix}BK-2JC \\ BJ-2KA\end{pmatrix}$

olmadığı sürece benzersiz tahminlerimiz olmadığını . Şimdi: $4AC\neq B^2$

\begin{array}{cc} A = \frac{10}{2 σ_{e}^{2}} + \frac{1}{2 σ_{p}^{2}} & B = \frac{\sum_{i = 1}^{10} Y_{i}}{σ_{e}^{2}} & C = \frac{\sum_{i = 1}^{10} Y_{i}^{2}}{2 σ_{e}^{2}} + \frac{1}{2 σ_{p}^{2}} \\ J = - \frac{\sum_{i = 2}^{11} Y_{i}}{σ_{e}^{2}} & K = - \frac{\sum_{i = 2}^{11} Y_{i} Y_{i - 1}}{σ_{e}^{2}} \end{array}

$\begin{array}{c c} A=\frac{10}{2\sigma^2_e}+\frac{1}{2\sigma^2_p} & B=\frac{\sum_{i=1}^{10}Y_i}{\sigma_{e}^{2}} & C=\frac{\sum_{i=1}^{10}Y_{i}^{2}}{2\sigma^2_e}+\frac{1}{2\sigma^2_p} \\ J=-\frac{\sum_{i=2}^{11}Y_i}{\sigma_{e}^{2}} & K=-\frac{\sum_{i=2}^{11}Y_{i}Y_{i-1}}{\sigma_{e}^{2}} \end{array}$

için tanımlar ve sınırını , tahminlerinin her zamanki en küçük kareler tarafından verildiğini unutmayın. tahmini ve burada ve . Bu nedenle posterior tahminler OLS tahminleri ile önceki tahminler arasında ağırlıklı bir ortalamadır . $X_i=Y_{i-1}$ $i=2,\dots,11$ $\sigma^2_p\to\infty$ $\mu,\alpha$ $\hat{\alpha}=\frac{\sum_{i=2}^{11}(Y_{i}-\overline{Y})(X_{i}-\overline{X})}{\sum_{i=2}^{11}(X_{i}-\overline{X})^2}$ $\hat{\mu}=\overline{Y}-\hat{\alpha}\overline{X}$ $\overline{Y}=\frac{1}{10}\sum_{i=2}^{11}Y_i$ $\overline{X}=\frac{1}{10}\sum_{i=2}^{11}X_i=\frac{1}{10}\sum_{i=1}^{10}Y_i$ $(0,0)$

— probabilityislogic
kaynak

Bu özellikle yararlı değil çünkü özellikle önemli olan payda olmadığından bahsetmiştim. Payda sadece normalleştirici bir sabittir, bu da payı bir Gauss formuna indirgediğinizde açık olacaktır. Bu yüzden paydadaki integralleri değerlendirmek için hileler matematiksel olarak gerçekten harika, ancak benim uygulama için gerekli değil. Çözüme ihtiyacım olan tek sorun payın manipüle edilmesidir.

— ely

Bu cevap size hem pay hem de payda verir. Pay , olasılık olasılıkla vurgulandığı gibi, normal kuadratik forma yol açan cinsinden uygun ikinci derece polinomu gösterir .

(α, μ)

$(\alpha,\mu)$

— Xi'an

@ems - normalleştirme sabitini hesaplayarak gerekli ikinci dereceden formu oluşturacaksınız. kareyi tamamlamak için gereken terimleri içerecektir

— olasılık

Bunun size nasıl ikinci dereceden formu verdiğini anlamıyorum. Paylaştığınız Gauss integral kimliğini kullanarak paydadaki iki integrali çalıştım. Sonunda, sadece büyük, dağınık bir sabit elde ediyorum. Bu sabiti almanın ve 1/2 güce, vb. Belirleyici bir şeye dönüştürmenin açık bir yolu yok gibi görünmüyor. Bahsetmiyorum, bunlardan herhangi birinin yeni ortalama vektör ' .. Orijinal soruda yardım istediğim buydu.

(\hat{μ}, \hat{α})^{t}

$(\hat{\mu},\hat{\alpha})^{t}$

— ely

Ayrıntılı ekleme için çok teşekkürler. İkinci dereceden formu bulmak için cebir yapmaya çalışırken aptalca hatalar yapıyordum. OLS tahmincisi ile olan ilişkiniz hakkındaki yorumlarınız da oldukça ilginç ve takdir edilmektedir. Bu kodumu hızlandıracağını düşünüyorum, çünkü yerleşik, optimize edilmiş yöntemleri olan analitik bir formdan örnekler çizebileceğim. Orijinal planım bunu örneklemek için Metropolis-Hastings'i kullanmaktı, ama çok yavaştı. Teşekkürler!

— ely