Sabit bir kovaryans matrisi ile maksimum entropi dağılımının bir Gauss olduğunu kanıtlayın

13

Gaussian'ın maksimum entropiye sahip olduğunu gösteren aşağıdaki kanıtı bulmaya çalışıyorum.

Yıldızlı adım nasıl bir anlam ifade ediyor? Belirli bir kovaryans yalnızca ikinci anı düzeltir. Üçüncü, dördüncü, beşinci anlara vb. Ne olur?

entropy information-theory maximum-entropy

— Tarrare
kaynak

13

Yıldızlı adım geçerlidir, çünkü (a) ve aynı sıfırıncı ve ikinci momentlere sahiptir ve (b) , terimleri toplam veya dereceye sahip olan bileşenlerinin polinom fonksiyonudur . $p$ $q$ $\log(p)$ $\mathbf{x}$ $0$ $2$

Sıfır ortalamalı çok değişkenli normal dağılım hakkında sadece iki şey bilmeniz gerekir:

$\log(p)$ , doğrusal terimler olmadan karesel bir işlevidir . Özellikle, sabit vardır ve olan $\mathbf{x}=(x_1,x_2,\ldots,x_n)$ $C$ $p_{ij}$
$\log (p (x)) = C + \sum_{i, j = 1}^{n} p_{i j} x_{i} x_{j} .$ $\log(p(\mathbf{x}))=C + \sum_{i,j=1}^n p_{ij}\, x_i x_j.$
(Elbette ve cinsinden yazılabilir , ancak bu detay önemli değildir.) $C$ $p_{ij}$ $\Sigma$
$\Sigma$ dağıtımın ikinci anlarını verir. Yani,
$Σ_{i j} = E_{p} (x_{i} x_{j}) = \int p (x) x_{i} x_{j} d x .$ $\Sigma_{ij}=E_p(x_i x_j) = \int p(\mathbf{x})\, x_ix_j\, d\mathbf{x}.$

Bu bilgiyi bir integral üzerinde çalışmak için kullanabiliriz:

\begin{aligned} \int (q (x) - p (x)) \log (p (x)) d x \\ = & \int (q (x) - p (x)) (C + \sum_{i, j = 1}^{n} p_{i j} x_{i} x_{j}) d x . \end{aligned}

$\eqalign{ & &\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x} \\ &= &\int(q(\mathbf{x}) - p(\mathbf{x}))\left(C + \sum_{i,j=1}^n p_{ij}\, x_i x_j\right)d\mathbf{x}. }$

İki bölümün toplamına girer:

$\int(q(x) - p(x))C\, d\mathbf{x} = C\left(\int q(\mathbf{x}) d\mathbf{x} - \int p(\mathbf{x}) d\mathbf{x}\right) = C(1 - 1) = 0$ , gerek çünkü ve olasılık yoğunluk fonksiyonları vardır. $q$ $p$
$\int(q(\mathbf{x}) - p(\mathbf{x})) \sum_{i,j=1}^n p_{ij}\, x_i x_jd\mathbf{x} = \sum_{i,j=1}^n p_{ij}\int(q(\mathbf{x}) - p(\mathbf{x}))x_i x_jd\mathbf{x} = 0$ çünkü sağdaki tüm integraller yan, ve , aynı değere sahiptir (zekâ, ). Bu sözün "kuadratik formun aynı anlarını verdiğini" belirtmeyi amaçlamaktadır. $\int q(\mathbf{x}) x_i x_jd\mathbf{x}$ $\int p(\mathbf{x}) x_i x_jd\mathbf{x}$ $\Sigma_{ij}$

Sonuç hemen gerçekleşir: olduğundan sonuçlandırıyoruz bu $\int(q(\mathbf{x}) - p(\mathbf{x}))\log(p(\mathbf{x}))d\mathbf{x}=0$ $\int q(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x} = \int p(\mathbf{x})\log(p(\mathbf{x}))d\mathbf{x}.$

— whuber
kaynak

1

Bence (4.27) ve (4.28) integrallerinde şeklindeki çarpımın ve çarpımı ( normal bir yoğunluk olduğu için , günlüğü aldığınızda üs artı sabitlerden bu tür terimler alırsınız). Ama sonra teoremdeki koşul , in ile çarpılan bu terimlerin aynı değere entegre olmasını sağlar. $q(x)$ $p(x)$ $\sigma_{ij}x_ix_j$ $p(x)$ $p(x)$ $q(x)$

— F. Tusell
kaynak