Fisher metrik ve bağıl entropi arasındaki bağlantı

Birisi Fisher bilgi metriği ile bağıl entropi (veya KL diverjansı) arasındaki aşağıdaki bağlantıyı tamamen matematiksel bir titizlikle kanıtlayabilir mi?

$$D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3)$$ burada $a=(a^1,\dots, a^n), da=(da^1,\dots,da^n)$ , $$g_{i,j}=\int \partial_i (\log p(x;a)) \partial_j(\log p(x;a))~ p(x;a)~dx$$ ve $g_{i,j} \, da^i \, da^j := \sum_{i,j}g_{i,j} \, da^i \, da^j$ Einstein toplama kuralıdır.

Yukarıdakileri, John Baez'in Vasileios Anagnostopoulos'un bu konuda yorumlarda söylediği güzel blogunda buldum .

1946'da, jeofizikçi ve Bayesci istatistikçi Harold Jeffreys bugün Kullback-Leibler sapması dediğimiz şeyi tanıttı ve "sonsuz derecede yakın" iki dağıtım için keşfetti (umarım Math SE adamları bunu görmez ;-) yazabiliriz katsayıları Fisher bilgi matrisinin elemanları tarafından verilen kuadratik bir form olarak Kullback-Leibler ayrışmaları. Bu kuadratik formu bir Riemann manifoldunun uzunluğu unsuru olarak yorumladı ve Fisher bilgileri Riemann metriğinin rolünü oynadı. İstatistiksel modelin bu geometrileşmesinden, Jeffrey'lerini önce Riemann metriğinin doğal olarak indüklediği ölçü olarak türetmiştir ve bu ölçü, genel olarak, sınırlı bir ölçü olmamasına rağmen, manifold üzerinde kendinden düzgün bir dağılım olarak yorumlanabilir.

Titiz bir kanıt yazmak için, tüm düzenlilik koşullarını tespit etmeniz ve Taylor genişlemelerindeki hata koşullarının sırasına dikkat etmeniz gerekir. İşte argümanın kısa bir taslağı.

ve iki yoğunluğu arasındaki simetrik Kullback-Leibler sapması şu şekilde tanımlanır:$f$$g$

$$D[f,g] = \int (f(x) - g(x)) \log\left(\frac{f(x)}{g(x)} \right) dx \, .$$

Biz parametreli yoğunluğu ailesini varsa ardından$\theta=(\theta_1,\dots,\theta_k)$

$$D[p(\,\cdot\,\mid\theta), p(\,\cdot\,\mid\theta + \Delta\theta)] = \int ( p(x,\mid\theta) - p(x\mid\theta + \Delta\theta)) \log\left( \frac{p(x\mid\theta)}{p(x\mid\theta + \Delta\theta)}\right) \,dx \, ,$$ ki burada . notasyonuyla bazı basit cebirler Doğal logaritma için Taylor genişlemesini kullanarak, $\Delta\theta=(\Delta\theta_1,\dots,\Delta\theta_k)$ $$\Delta p(x\mid\theta) = p(x\mid\theta) - p(x\mid\theta + \Delta\theta) \, ,$$ $$D[p(\;\cdot\,\mid\theta), p(\;\cdot\,\mid\theta + \Delta\theta)] = \int\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \log\left(1+\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right)p(x\mid\theta)\,dx \, .$$ $$\log\left(1+\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right) \approx \frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \, ,$$ D [ p ( ve bu nedenle Ancak Bu nedenle ; $$D[p(\;\cdot\,\mid\theta), p(\;\cdot\,\mid\theta + \Delta\theta)] \approx \int\left(\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right)^2p(x\mid\theta)\,dx \, .$$ $$\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \approx \frac{1}{p(x\mid\theta)} \sum_{i=1}^k \frac{\partial p(x\mid\theta)}{\partial\theta_i} \, \Delta\theta_i = \sum_{i=1}^k \frac{\partial \log p(x\mid\theta)}{\partial\theta_i} \, \Delta\theta_i \, .$$ $$D[p(\,\cdot\,\mid\theta), p(\,\cdot\,\mid\theta + \Delta\theta)] \approx \sum_{i,j=1}^k g_{ij} \,\Delta\theta_i \, \Delta\theta_j \, ,$$ $$g_{ij} = \int \frac{\partial \log p(x\mid\theta)}{\partial\theta_i} \frac{\partial \log p(x\mid\theta)}{\partial\theta_j} p(x\mid\theta) \,dx \, .$$

Bu orijinal kağıt:

Jeffreys, H. (1946). Tahmin problemlerinde önceki olasılık için değişmez bir form. Proc. Kraliyet Soc. Londra, Seri A, 186, 453-461.

Olağan (simetrik olmayan) KL sapmasının kanıtı

Zen'in cevabı simetrik KL sapmasını kullanır, ancak sonuç normal form için de geçerlidir, çünkü sonsuz derecede yakın dağılımlar için simetrik hale gelir.

İşte bir skaler tarafından parametrelenen ayrık dağılımlar için bir kanıt (tembel olduğum için), ancak sürekli dağılımlar veya bir parametre vektörü için kolayca yeniden yazılabilir:$\theta$

$$\begin{equation} D(p_\theta,p_{\theta+d\theta})=\sum p_\theta \log p_\theta - \sum p_\theta \log p_{\theta+d\theta}\ . \end{equation}$$ Taylor son terimi genişletiyor: Bazı düzenlilikleri varsayarsak, iki sonucu kullandım: $$\begin{equation} = \underbrace{\sum p_\theta \log p_\theta - \sum p_\theta \log p_\theta}_{=\ 0} - d\theta \underbrace{\sum p_\theta \frac{d}{d\theta}\log p_\theta}_{=\ 0 \ \dagger} - \frac{1}{2}{d\theta}^2 \underbrace{\sum p_\theta \frac{d^2}{d\theta^2}\log p_\theta}_{= -\sum p_\theta (\frac{d}{d\theta}\log p_\theta)^2 \ \ddagger} + \mathcal{O}({d\theta}^3) \\ = \frac{1}{2}{d\theta}^2 \underbrace{\sum p_\theta (\frac{d}{d\theta}\log p_\theta)^2}_{\textrm{Fisher information}} + \mathcal{O}({d\theta}^3). \end{equation}$$ $$\begin{equation} \dagger: \sum p_\theta \frac{d}{d\theta}\log p_\theta = \sum \frac{d}{d\theta} p_\theta = \frac{d}{d\theta} \sum p_\theta =0, \end{equation}$$

$$\begin{align} \ddagger: \sum p_\theta \frac{d^2}{d\theta^2}\log p_\theta &= \sum p_\theta \frac{d}{d\theta}(\frac{1}{p_\theta}\frac{dp_\theta}{d\theta}) \\ &= \sum p_\theta \left[\frac{1}{p_\theta}\frac{d^2p_\theta}{d\theta}-(\frac{1}{p_\theta}\frac{dp_\theta}{d\theta})^2\right] \\ &= \sum \frac{d^2p_\theta}{d\theta^2} - \sum p_\theta (\frac{1}{p_\theta} \frac{dp_\theta}{d\theta})^2 \\ &= \underbrace{\frac{d^2}{d\theta^2} \sum p_\theta}_{=\ 0} - \sum {p_\theta} (\frac{d}{d\theta}\log p_\theta)^2. \end{align}$$

Aşağıdaki makalenin denkleminde (3) benzer bir ilişki (tek boyutlu bir parametre için) bulabilirsiniz

D. Guo (2009), Bağıl Entropi ve Skor Fonksiyonu: Keyfi Katkı pertürbasyon aracılığıyla Yeni Bilgiler-Tahmin İlişkiler , içinde Proc. IEEE Uluslararası Bilgi Teorisi Sempozyumu , 814-818. ( kararlı bağlantı ).

Yazarlar

S. Kullback, Bilgi Kuramı ve İstatistik . New York: Dover, 1968.

bu sonucun bir kanıtı için.