İki değişkenli Gauss arasında KL ayrışması

İki değişkenli normal dağılım varsayarsak KL diverjans formülünü türetmekte sorun yaşıyorum. Tek değişkenli vakayı oldukça kolay bir şekilde yaptım. Ancak, matematik istatistiklerini aldığımdan bu yana epey zaman geçti, bu yüzden çok değişkenli olaya genişletmekte zorlanıyorum. Eminim basit bir şeyi özlüyorumdur.

İşte sahip olduğum şey ...

Her iki varsayalım ve aracı ile, normal dağılımların PDF olarak ve ve sapmaların ve sırasıyla. Adlı Kullback-Leibler mesafe için olan: $p$ $q$ $\mu_1$ $\mu_2$ $\Sigma_1$ $\Sigma_2$ $q$ $p$

$\int \left[\log( p(x)) - \log( q(x)) \right]\ p(x)\ dx$ , ki iki değişkenli normal:

$\frac{1}{2}\left[\log\frac{|\Sigma_2|}{|\Sigma_1|} - d + Tr(\Sigma_2^{-1}\Sigma_1) + (\mu_2 - \mu_1)^T \Sigma_2^{-1}(\mu_2 - \mu_1)\right]$

Bu kanıtla aynı mantığı takip ederek , takılmadan önce buraya geliyorum:

$=\int \left[ \frac{d}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} + \frac{1}{2} \left((x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) - (x-\mu_1)^T\Sigma_2^{-1}(x-\mu_1) \right) \right] \times p(x) dx$

$=\mathbb{E} \left[ \frac{d}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} + \frac{1}{2} \left((x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) - (x-\mu_1)^T\Sigma_2^{-1}(x-\mu_1) \right) \right]$

Sanırım izleme numaramı uygulamak zorundayım ama ondan sonra ne yapacağımdan emin değilim. Beni tekrar doğru yola sokmak için yardımcı olacak herhangi bir ipucu olurdu!

normal-distribution kullback-leibler proof

— dmartin
kaynak

stanford.edu/~jduchi/projects/general_notes.pdf . Son bölüm de türetmeyi verir.

— user3540823

Bazı küçük düzeltmelerle başladığınız yerden başlayarak yazabiliriz.

\begin{aligned} K L & = \int [\frac{1}{2} \log \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} (x - μ_{1})^{T} Σ_{1}^{- 1} (x - μ_{1}) + \frac{1}{2} (x - μ_{2})^{T} Σ_{2}^{- 1} (x - μ_{2})] \times p (x) d x \\ = \frac{1}{2} \log \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} tr {E [(x - μ_{1}) (x - μ_{1})^{T}] Σ_{1}^{- 1}} + \frac{1}{2} E [(x - μ_{2})^{T} Σ_{2}^{- 1} (x - μ_{2})] \\ = \frac{1}{2} \log \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} tr {I_{d}} + \frac{1}{2} (μ_{1} - μ_{2})^{T} Σ_{2}^{- 1} (μ_{1} - μ_{2}) + \frac{1}{2} tr {Σ_{2}^{- 1} Σ_{1}} \\ = \frac{1}{2} [\log \frac{| Σ_{2} |}{| Σ_{1} |} - d + tr {Σ_{2}^{- 1} Σ_{1}} + (μ_{2} - μ_{1})^{T} Σ_{2}^{- 1} (μ_{2} - μ_{1})] . \end{aligned}

$\begin{aligned} KL &= \int \left[ \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} (x-\mu_1)^T\Sigma_1^{-1}(x-\mu_1) + \frac{1}{2} (x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) \right] \times p(x) dx \\ &= \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} \text{tr}\ \left\{E[(x - \mu_1)(x - \mu_1)^T] \ \Sigma_1^{-1} \right\} + \frac{1}{2} E[(x - \mu_2)^T \Sigma_2^{-1} (x - \mu_2)] \\ &= \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} \text{tr}\ \{I_d \} + \frac{1}{2} (\mu_1 - \mu_2)^T \Sigma_2^{-1} (\mu_1 - \mu_2) + \frac{1}{2} \text{tr} \{ \Sigma_2^{-1} \Sigma_1 \} \\ &= \frac{1}{2}\left[\log\frac{|\Sigma_2|}{|\Sigma_1|} - d + \text{tr} \{ \Sigma_2^{-1}\Sigma_1 \} + (\mu_2 - \mu_1)^T \Sigma_2^{-1}(\mu_2 - \mu_1)\right]. \end{aligned}$

Matrix Yemek Kitabının 8.2 Bölümünden birkaç özellik kullandığımı unutmayın .

— ramhiser
kaynak

Aslen sahip olduğum D'yi çıkardığını görüyorum. İlk birkaç adımda Gauss'un günlüğünü aldıktan sonra D teriminiz olmaz mıydı?

— dmartin

Ölçekleme faktörünü , çok değişkenli normal yoğunluğun değerini göz önünde bulundurun. Günlük farkı hesaplanırken, terimi kaybolur. Belirleyiciler için terimi yoktur - basitçe, çarpan bir .

(2 π)^{- d / 2} | Σ_{k} |^{- 1 / 2}

$(2\pi)^{-d/2} |\Sigma_k|^{-1/2}$

k = 1, 2

$k = 1,2$

(2 π)^{- d / 2}

$(2\pi)^{-d/2}$

d

$d$

1 / 2

$1/2$

— Ramhiser

Hiç sorun değil. Yardımcı olduğuma sevindim.

— Ramhiser

Merhaba, son adımı nasıl buldun? Nasıl işaretini değişti içine ?

μ_{1} - μ_{2}

$\mu_1 - \mu_2$

μ_{2} - μ_{1}

$\mu_2 - \mu_1$

— acidghost,

@acidghost Her ikisi de işe yarıyor çünkü negatif olanı iki taraftan da saptayabiliyoruz. İki negatif olanı çarpmak pozitif bir sonuç verir.

— ramhiser