Çok değişkenli bir gaussianın kovaryans posterior dağılımını tahmin etme

15

Birkaç değişkenli bir iki değişkenli gauss dağılımını "öğrenmeliyim", ancak önceki dağıtımda iyi bir hipotez var, bu yüzden bayes yaklaşımını kullanmak istiyorum.

tanımladım:

P (μ) \sim N (μ_{0}, Σ_{0})

$\mathbf{P}(\mathbf{\mu}) \sim \mathcal{N}(\mathbf{\mu_0},\mathbf{\Sigma_0})$

μ_{0} = [\begin{matrix} 0 \\ 0 \end{matrix}] Σ_{0} = [\begin{matrix} 16 & 0 \\ 0 & 27 \end{matrix}]

$\mathbf{\mu_0} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma_0} = \begin{bmatrix} 16 & 0 \\ 0 & 27 \end{bmatrix}$

Ve dağılımım

P (x | μ, Σ) \sim N (μ, Σ)

$\mathbf{P}(x|\mathbf{\mu},\mathbf{\Sigma}) \sim \mathcal{N}(\mathbf{\mu},\mathbf{\Sigma})$

μ = [\begin{matrix} 0 \\ 0 \end{matrix}] Σ = [\begin{matrix} 18 & 0 \\ 0 & 18 \end{matrix}]

$\mathbf{\mu} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma} = \begin{bmatrix} 18 & 0 \\ 0 & 18 \end{bmatrix}$

Şimdi sayesinde biliyorum burada veri verilen ortalama tahmin etmek için

P (μ | x_{1}, \dots, x_{n}) \sim N ({\hat{μ}}_{n}, {\hat{Σ}}_{n})

$\mathbf{P} (\mathbf{\mu} | \mathbf{x_1}, \dots , \mathbf{x_n}) \sim \mathcal{N}(\mathbf{\hat{\mu}_n}, \mathbf{\hat{\Sigma}_n})$

Hesaplayabilirim:

{\hat{μ}}_{n} = Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} (\frac{1}{n} \sum_{i = 1}^{n} x_{i}) + \frac{1}{n} Σ {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} μ_{0}

$\mathbf{\hat{\mu}_n} = \mathbf{\Sigma_0} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^ {-1} \left( {1 \over n} \sum_{i=1}^{n} \mathbf{x_i} \right) + {1 \over n} \mathbf{\Sigma} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^{-1} \mathbf{\mu_0}$

{\hat{Σ}}_{n} = \frac{1}{n} Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} Σ

$\mathbf {\hat{\Sigma}_n} = {1 \over n} \mathbf{\Sigma_0} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^{-1} \mathbf{\Sigma}$

Şimdi soru geliyor, belki yanılıyorum, ama bana öyle geliyor ki, , verilerimin tahmini kovaryansı değil , sadece tahmini parametresi için kovaryans matrisi . İstediğim şey de hesaplamak olurdu $\mathbf{\Sigma_n}$ $\mathbf{\mu_n}$

P (Σ_{n_{1}} | x_{1}, \dots, x_{n})

$\mathbf{P} (\mathbf{\Sigma_{n_1}} | \mathbf{x_1}, \dots , \mathbf{x_n})$

verilerimden tam olarak belirlenmiş bir dağıtım elde etmek için.

Mümkün mü? hesaplamasıyla zaten çözülmüş ve sadece yukarıdaki formülün yanlış şekilde ifade edildi mi (ya da basitçe yanlış yazıyorum)? Referanslar takdir edilecektir. Çok teşekkürler. $\mathbf{\Sigma_n}$

DÜZENLE

Yorumlardan, tarafından tanımlanan sabit bir kovaryans varsaydığım için yaklaşımımın "yanlış" olduğu ortaya çıktı . İhtiyacım olan şey daha önce de koymak, , ama hangi dağıtımı kullanmam gerektiğini ve daha sonra güncelleme prosedürünün ne olduğunu bilmiyorum. $\mathbf{\Sigma}$ $\mathbf{P}(\mathbf{\Sigma})$

— unziberla
kaynak

Verilerinizin kovaryansını zaten belirttiniz ve güncellenmesi için önceden bir dağıtım belirtmediniz dan?

Σ = [\begin{matrix} 18 & 0 \\ 0 & 18 \end{matrix}]

$\mathbf{\Sigma} = \begin{bmatrix} 18 & 0 \\ 0 & 18 \end{bmatrix}$

— Corone

Senin değinmek istediğin noktayı anlıyorum. Benim yaklaşımımla temelde varyansın sabit ve belirlenmiş olduğunu varsaydım. Eğer tahmin etmek istersem, üzerinde bir önceliğe ihtiyacım var. Şimdi benim sorunum, onu ve bunun için uygun bir dağıtımın ne olduğunu tanımlayın, ancak bu ilk sorunun kapsamı dışında görünüyor.

P (Σ) \sim F (μ_{Σ}, Σ_{Σ})

$\mathbf{P}(\mathbf{\Sigma}) \sim \mathcal{F} (\mathbf{\mu_{\Sigma}} , \Sigma_{\Sigma})$

— unziberla

Sonra soruyu değiştirin :-)

— Corone

11

Kovaryans yapısı için Bayesian güncellemesini, ortalamayı güncellediğinizle aynı ruhla yapabilirsiniz. Çok değişkenli-normalin kovaryans matrisi için önceki eşlenik Ters-Wishart dağılımıdır, bu nedenle oradan başlamak mantıklıdır,

$P(\Sigma) \sim W^{-1}(\mathbf{\Psi}, \nu)$

Sonra uzunluğundaki örneğinizi aldığınızda, örnek kovaryans tahminini hesaplayabilirsiniz. $X$ $n$ $\Sigma_X = \frac{1}{n}(X-\mu)^\top(X-\mu)$

Bu daha sonra kovaryans matrisi tahmininizi güncellemek için kullanılabilir

$P(\Sigma|X) \sim W^{-1}(n\Sigma_X + \mathbf{\Psi}, n + \nu)$

Bunun ortalamasını kovaryans için puan tahmininiz olarak kullanmayı seçebilirsiniz (Posterior Ortalama Tahmincisi)

$E[\Sigma|X] = \frac{n\Sigma_X + \mathbf{\Psi}}{\nu+n-p-1}$

veya modu kullanmayı seçebilirsiniz (Maximum A Posteriori Estimator)

$\text{Mode}[\Sigma|X] = \frac{n\Sigma_X + \mathbf{\Psi}}{\nu+n+p+1}$

— Corone
kaynak

Çok teşekkürler. Şimdi tahmin sürecimde bir şeyin değişeceğini varsayıyorum. İlk adım olarak, kovaryansını prosedürünüzle tahmin etmeliyim, sonra tahmini hipotez verilen dağılımım ve tahmin edildiğinden ve kendi dağıtımına sahip olduğundan, bunun bir şekilde hesaplamak için önceki formülümü değiştireceğinden eminim. (örnek varyansını kullanırken gauss MLE'de olduğu gibi).

\hat{Σ}

$\mathbf{\hat{\Sigma}}$

P (X | μ, \hat{Σ})

$\mathbf{P} (\mathbf{X} | \mu, \mathbf{\hat{\Sigma}} )$

\hat{Σ}

$\mathbf{\hat{\Sigma}}$

{\hat{μ}}_{n}

$\mathbf{\hat{\mu}_n}$

— unziberla

Açıkladığınız yaklaşım bunun yerine böylece kovaryans için daha önce biliyormuşum gibi gerçek bir değere sahibim. Sıkça kullanılan bir yaklaşımda, bu kulağa yanlış gelebilir, ama belki de öncekinin bilindiğini varsaydığım gerçeğinden eksik olduğum bir şey var ve bu prosedürü doğru hale getiriyor mu?

\hat{Σ} = E [Σ | x_{1} \dots x_{n}]

$\mathbf{\hat{\Sigma}} = E[ \Sigma | \mathbf{x_1} \dots \mathbf{x_n} ]$

— unziberla

7

Tamam, sorunum için gerçek çözümü buldum. Seçilen soruya (yanlış yerleştirilmiş) sorumun doğru cevabı olsa bile gönderiyorum.

Temel olarak, sorum kovaryansın ne anlama geldiğini nasıl tahmin edeceğimizi ve ortalamayı bilen kovaryansın nasıl tahmin edileceğini açıklıyor. Ama asıl sorunum her iki parametrenin de bilinmediği tahmin ediliyordu.

Burada açıklanan türetme ile Wikipedia'da cevabı buldum . Çok değişkenli normalin önceden eşlenik hali, temelde çok değişkenli Normallere göre bir dağılım olan Normal-ters-Wisharttır.

$\mathbf{\mu}_0$ $\mathbf{\Psi}$ $\kappa_0$ $\nu_0$

$n$ $p$

P (μ, Σ | X) \sim N I W (\frac{κ_{0} μ_{0} + n \bar{x}}{κ_{0} + n}, κ_{0} + n, ν_{0} + n, Ψ + C + \frac{κ_{0} n}{κ_{0} + n} (\bar{x} - μ_{0}) (\bar{x} - μ_{0})^{T})

$\mathbf{P}(\boldsymbol\mu, \mathbf{\Sigma} | \mathbf{X}) \sim \mathrm{NIW} \left( \frac{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}}{\kappa_0+n} ,\, \kappa_0+n,\, \nu_0+n ,\, \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T \right)$

nerede

\bar{x} = \frac{1}{n} \sum_{i = 0}^{n} x_{i}

$\mathbf{\bar{x}} = {1 \over n} \sum_{i=0}^{n} \mathbf{x_i}$

C = \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{T}

$\mathbf{C} = \sum_{i=1}^n (\mathbf{x_i} - \mathbf{\bar{x}}) (\mathbf{x_i} - \mathbf{\bar{x}})^T$

bu yüzden istenen tahmini parametrelerim

E (μ | X) = \frac{κ_{0} μ_{0} + n \bar{x}}{κ_{0} + n}

$E (\boldsymbol\mu | \mathbf{X}) = {{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}} \over{\kappa_0+n} }$

E (Σ | X) = \frac{Ψ + C + \frac{κ_{0} n}{κ_{0} + n} (\bar{x} - μ_{0}) (\bar{x} - μ_{0})^{T}}{ν_{0} + n - p - 1}

$E (\mathbf{\Sigma} | \mathbf{X}) = \frac{ \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T }{ \nu_0 + n - p - 1}$

— unziberla
kaynak