Hessian Matrix ve Kovaryans Matrix arasındaki ilişki

Maksimum Olabilirlik Tahminini çalışırken, Maksimum Olabilirlik Tahmininde çıkarım yapmak için varyansı bilmemiz gerekir. Varyansı bulmak için, eğrilikte İkinci Türev ile bir Hessen Matrisi gibi görünen Cramer'ın Rao Alt Sınırını bilmem gerekiyor. Ben kovaryans matrisi ile kendir matrisi arasındaki ilişkiyi tanımlamak için biraz karışıkım. Soru hakkında bazı açıklamalar duymayı umuyoruz. Basit bir örnek takdir edilecektir.

— user122358
kaynak

Öncelikle Fisher Information matrisi ve Hessian ve standart hatalarla ilişkisi hakkındaki bu Temel soruya göz atmalısınız.

Varsayalım ki istatistiksel bir modelimiz var (dağıtım ailesi) . En genel durumda , bu nedenle bu aile . Belirli düzenlilik koşulları altında, $\{f_{\theta}: \theta \in \Theta\}$ $dim(\Theta) = d$ $\theta = (\theta_1, \dots, \theta_d)^T$

{ben}_{ben, j} (θ) = - E_{θ} [\frac{\partial^{2} l (X; θ)}{\partial θ_{ben} \partial θ_{j}}] = - E_{θ} [{'H}_{ben, j} (l (X; θ))]

$I_{i,j}(\theta) = -E_{\theta}\Big[\frac{\partial^2 l(X; \theta)}{\partial\theta_i\partial\theta_j}\Big] = -E_\theta\Big[H_{i,j}(l(X;\theta))\Big]$

burada bir Fisher Bilgi matrisidir ( bir fonksiyonu olarak ) ve gözlenen değerdir (örnek) $I_{i,j}$ $\theta$ $X$

l (X; θ) = l n (f_{θ} (X)), bazı θ \in Θ

$l(X; \theta) = ln(f_{\theta}(X)),\text{ for some } \theta \in \Theta$

Bu yüzden Fisher Information matrisi Hesian'ın bazı altındaki log olasılığı için olumsuz bir beklenen değerdir $\theta$

Şimdi diyelim ki bilinmeyen parametresinin bir vektör fonksiyonunu tahmin etmek istiyoruz . Genellikle tarafsız olması, yani $\psi(\theta)$ $T(X) = (T_1(X), \dots, T_d(X))$

\forall_{θ \in Θ} E_{θ} [T (X)] = ψ (θ)

$\forall_{\theta \in \Theta}\ E_{\theta}[T(X)] = \psi(\theta)$

Cramer Rao Alt devletleri Bağlı her için tarafsız karşılar $T(X)$ $cov_{\theta}(T(X))$

c Ö v_{θ} (T (X)) \geq \frac{\partial ψ (θ)}{\partial θ} {ben}^{- 1} (θ) (\frac{\partial ψ (θ)}{\partial θ})^{T} = B (θ)

$cov_{\theta}(T(X)) \ge \frac{\partial\psi(\theta)}{\partial\theta}I^{-1}(\theta)\Big(\frac{\partial\psi(\theta)}{\partial\theta}\Big)^T = B(\theta)$

burada matrisler için , yarı yarıya pozitif olduğu anlamına gelir , sadece bir Jacobian . tahmin edersek , bunun , yukarıdaki $A \ge B$ $A - B$ $\frac{\partial\psi(\theta)}{\partial\theta}$ $J_{i,j}(\psi)$ $\theta$ $\psi(\theta) = \theta$

c Ö v_{θ} (T (X)) \geq {ben}^{- 1} (θ)

$cov_{\theta}(T(X)) \ge I^{-1}(\theta)$

Ama bize gerçekten ne anlatıyor? Örneğin, şunu hatırlayın:

v bir r_{θ} (T_{ben} (X)) = [c Ö v_{θ} (T (X))]_{ben, ben}

$var_{\theta}(T_i(X)) = [cov_{\theta}(T(X))]_{i,i}$

ve her pozitif yarı tanımlı matris için diyagonal elemanların negatif olmadığı $A$

\forall_{ben} {bir}_{ben, ben} \geq 0

$\forall_i\ A_{i,i} \ge 0$

Yukarıdan, tahmin edilen her bir elemanın varyansının matrisinin diyagonal elemanları ile sınırlı olduğu sonucuna varabiliriz. $B(\theta)$

\forall_{ben} v bir r_{θ} (T_{ben} (X)) \geq [B (θ)]_{ben, ben}

$\forall_i\ var_{\theta}(T_i(X)) \ge [B(\theta)]_{i,i}$

Dolayısıyla CRLB bize tahmin edicimizin varyansını söylemez, ancak tahmin edicimizin hangisi olup olmadığı en uygunudur , yani tüm tarafsız tahminciler arasında en düşük kovaryansa sahipse.

— Asukasz Grad
kaynak

Buradaki açıklamanızı takdir ediyorum. Ben gerçekten matematik insanı değilim ama matematiği seröz bir şekilde öğrenme yolundayım. Ancak yine de bana çok soyut görünüyor. Umarım kesinlikle anlayacak olan basit sayılarla nazik bir örnek vardır.

— user122358