Fisher Information matrisi neden yarı yarıya pozitif?

19

Let $\theta \in R^{n}$ . Fisher Bilgi Matrisi şu şekilde tanımlanır:

ben (θ)_{ben, j} = - E [\frac{\partial^{2} günlük (f (X | θ))}{\partial θ_{ben} \partial θ_{j}} | θ]

$I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right]$

Fisher Information Matrix'in pozitif semidefinite olduğunu nasıl kanıtlayabilirim?

inference linear-algebra fisher-information

— madprob
kaynak

7

Puanın dış ürününün kendisiyle beklenen değeri değil mi?

— Neil G

20

Şuna bir göz atın: http://en.wikipedia.org/wiki/Fisher_information#Matrix_form

Tanımdan, elimizde

I_{i j} = E_{θ} [(\partial_{i} \log f_{X ∣ Θ} (X ∣ θ)) (\partial_{j} \log f_{X ∣ Θ} (X ∣ θ))],

$I_{ij} = \mathrm{E}_\theta \left[ \left(\partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\partial_j \log f_{X\mid\Theta}(X\mid\theta)\right)\right] \, ,$ İçin

i, j = 1, \dots, k

$i,j=1,\dots,k$ , hangi

\partial_{i} = \partial / \partial θ_{i}

$\partial_i=\partial /\partial \theta_i$ .

I_{i j}

$I_{ij}$ için ifadeniz,düzenlilik koşulları altında bunu izler.

Boş olmayan bir vektör için $u = (u_1,\dots,u_k)^\top\in\mathbb{R}^n$ ,

\sum_{i, j = 1}^{k} u_{i} I_{i j} u_{j} = \sum_{i, j = 1}^{k} (u_{i} E_{θ} [(\partial_{i} \log f_{X ∣ Θ} (X ∣ θ)) (\partial_{j} \log f_{X ∣ Θ} (X ∣ θ))] u_{j}) = E_{θ} [(\sum_{i = 1}^{k} u_{i} \partial_{i} \log f_{X ∣ Θ} (X ∣ θ)) (\sum_{j = 1}^{k} u_{j} \partial_{j} \log f_{X ∣ Θ} (X ∣ θ))] = E_{θ} [{(\sum_{i = 1}^{k} u_{i} \partial_{i} \log f_{X ∣ Θ} (X ∣ θ))}^{2}] \geq 0 .

$\sum_{i,j=1}^k u_i I_{ij} u_j = \sum_{i,j=1}^k \left( u_i \mathrm{E}_\theta \left[ \left(\partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\partial_j \log f_{X\mid\Theta}(X\mid\theta)\right)\right] u_j \right) \\ = \mathrm{E}_\theta \left[ \left(\sum_{i=1}^k u_i \partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\sum_{j=1}^k u_j \partial_j \log f_{X\mid\Theta} (X\mid\theta)\right)\right] \\ = \mathrm{E}_\theta \left[ \left(\sum_{i=1}^k u_i \partial_i \log f_{X\mid\Theta}(X\mid\theta)\right)^2 \right] \geq 0 \, .$

Bu bileşen, akıllı gösterim çok kötü ise, Fisher bilgi matris not bu $H=(I_{ij})$ olarak yazılabilir $H = \mathrm{E}_\theta\left[S S^\top\right]$ vektör puanları olan, $S$ olarak tanımlanır

S = {(\partial_{1} günlük f_{X | Θ} (X | θ), ..., \partial_{k} günlük f_{X | Θ} (X | θ))}^{⊤} .

$S = \left( \partial_1 \log f_{X\mid\Theta}(X\mid\theta), \dots, \partial_k \log f_{X\mid\Theta}(X\mid\theta) \right)^\top \, .$

Bu nedenle, tek

u^{⊤}'H u = u^{⊤} E_{θ} [S S^{⊤}] u = E_{θ} [u^{⊤} S S^{⊤} u] = E_{θ} [| | S^{⊤} u | |^{2}] \geq 0.

$u^\top H u = u^\top \mathrm{E}_\theta[S S^\top] u = \mathrm{E}_\theta[u^\top S S^\top u] = \mathrm{E}_\theta\left[|| S^\top u ||^2\right] \geq 0.$

— Zen
kaynak

3

(+1) Güzel cevaplar ve tekrar hoş geldiniz Zen. Endişeleniyordum ki, ara sıra uzunluğuna bağlı olarak seni kalıcı olarak kaybedebilirdik. Bu gerçek bir utanç olurdu!

— kardinal

5

UYARI: genel bir cevap değil!

tam dereceli üstel bir aileye karşılık geliyorsa , log-olasılığın negatif Hessianı, yeterli istatistiğin kovaryans matrisidir. Kovaryans matrisleri her zaman pozitif yarı tanımlıdır. Fisher bilgisi pozitif yarı-tanımlanmış matrislerin dışbükey bir kombinasyonu olduğundan, pozitif yarı-tanımlamalı da olmalıdır. $f(X|\theta)$

— gusül
kaynak