Fisher Bilgi matrisi ve Hessian ile ilişkisi ve standart hatalarla ilgili temel soru

54

Tamam, bu oldukça basit bir soru, ama biraz kafam karıştı. Tezimde şöyle yazarım:

Standart hatalar (gözlemlenen) Fisher Bilgi matrisinin köşegen elemanlarının karekökünün tersini hesaplayarak bulunabilir:

\begin{aligned} s_{\hat{μ}, {\hat{σ}}^{2}} = \frac{1}{\sqrt{I (\hat{μ}, {\hat{σ}}^{2})}} \end{aligned}

$\begin{align*} s_{\hat{\mu},\hat{\sigma}^2}=\frac{1}{\sqrt{\mathbf{I}(\hat{\mu},\hat{\sigma}^2)}} \end{align*}$ R'deki optimizasyon komutu minimize (gözlemlenen) Fisher Bilgi matrisi Hessian'ın tersini hesaplayarak bulunabilir:

- \log L

$-\log\mathcal{L}$

\begin{aligned} I (\hat{μ}, {\hat{σ}}^{2}) = H^{- 1} \end{aligned}

$\begin{align*} \mathbf{I}(\hat{\mu},\hat{\sigma}^2)=\mathbf{H}^{-1} \end{align*}$

Asıl sorum: Bu söylediklerimin doğru mu?

Ben biraz çünkü bu, şaşkın değilim kaynağı diyor sayfa 7:

Bilgi matrisi, Hessian matrisinin beklenen değerinin negatifidir.

(Öyleyse Hessian'ın tersi yok.)

Oysa bu kaynağın 7. sayfasında (dipnot 5):

Gözlenen Fisher bilgisi eşittir . $(-H)^{-1}$

(Yani burada tersi var.)

Eksi işaretinin ne zaman ve ne zaman kullanılacağı ve ne zaman kullanılmayacağının farkındayım, ama neden tersini alıp almamada bir fark var?

maximum-likelihood fisher-information

— Jen Bohold
kaynak

@COOLSerdash Düzeltmeleriniz ve +1 için teşekkürler, ancak bu kaynak: unc.edu/~monogan/computing/r/MLE_in_R.pdf sayfa 7 açıkça gözlenen Fisher bilgilerinin Hessian'ın INVERSE'ine eşit olduğunu söylüyor?

— Jen Bohold

@ COOLSerdash Tamam, bunu bir cevap olarak göndermek isteyebilirsiniz.

— Jen Bohold,

75

Yudi Pawitan Her Olasılıklar Kitabında , en yüksek olabilirlik tahminlerinde (MLE) değerlendirilen log-olasılığının ikinci türevinin gözlemlenen Fisher bilgisi olduğunu yazmıştır (ayrıca bu belgeye , sayfa 2'ye bakınız). Bu gibi en optimizasyon algoritmaları tam olarak ne optimde RHessen MLE değerlendirmeye: dönüş. Ne zaman negatiflog olabilirliği en aza indirilir, negatif Hessian iade edilir. Doğru bir şekilde işaret ettiğiniz gibi, MLE'nin tahmini standart hataları, gözlemlenen Fisher bilgi matrisinin tersinin çapraz elemanlarının karekökleridir. Başka bir deyişle: Hessian'ın (veya negatif Hessian'ın) tersinin köşegen unsurlarının karekökü tahmin edilen standart hatalardır.

özet

MLE'de değerlendirilen negatif Hessian, MLE'de değerlendirilen gözlemlenen Fisher bilgi matrisi ile aynıdır.
Asıl sorunuzla ilgili olarak: Hayır, gözlemlenen Fisher bilgilerinin (negatif) Hessian'ı ters çevirerek bulunabileceği doğru değil .
İkinci sorunuza gelince: (negatif) Hessian'ın tersi asimptotik kovaryans matrisinin bir tahmincisidir. Bu nedenle, kovaryans matrisinin köşegen elemanlarının karekökleri standart hataların tahmin edicileridir.
Sanırım linkini verdiğin ikinci belge yanlış.

resmen

Let , bir log-olasılık fonksiyonu. Fisher bilgi matrisi simetrik olan girişleri ihtiva eden matris: gözlenen Fisher bilgi matrisi basitçe , bilgi matrisi maksimum olabilirlik tahmininde (MLE) değerlendirildi. Hessian şöyle tanımlanır: $l(\theta)$ $\mathbf{I}(\theta)$ $(p\times p)$

I (θ) = - \frac{\partial^{2}}{\partial θ_{i} \partial θ_{j}} l (θ), 1 \leq i, j \leq p

$\mathbf{I}(\theta)=-\frac{\partial^{2}}{\partial\theta_{i}\partial\theta_{j}}l(\theta),~~~~ 1\leq i, j\leq p$

I ({\hat{θ}}_{M L})

$\mathbf{I}(\hat{\theta}_{\mathrm{ML}})$

H (θ) = \frac{\partial^{2}}{\partial θ_{i} \partial θ_{j}} l (θ), 1 \leq i, j \leq p

$\mathbf{H}(\theta)=\frac{\partial^{2}}{\partial\theta_{i}\partial\theta_{j}}l(\theta),~~~~ 1\leq i, j\leq p$ Parametrelere göre olasılık fonksiyonunun ikinci türevlerinin matrisinden başka bir şey değildir. Olumsuz log olasılığını en aza indirirseniz, iade edilen Hessian'ın gözlemlenen Fisher bilgi matrisinin eşdeğeri olduğunu, log logiliğini maksimuma çıkarmanız durumunda negatif Hessian'ın gözlemlenen bilgi matrisi olduğunu izler.

Ayrıca, Fisher bilgi matrisinin tersi asimptotik kovaryans matrisinin bir tahmincisidir: Standart hatalar daha sonra kovaryans matrisinin köşegen elemanlarının karekökleridir. Maksimum olasılık tahmininin asimptotik dağılımı için burada gerçek parametre değerini gösterir. Bu nedenle, maksimum olabilirlik tahminlerinin tahmini standart hatası:

V a r ({\hat{θ}}_{M L}) = [I ({\hat{θ}}_{M L})]^{- 1}

$\mathrm{Var}(\hat{\theta}_{\mathrm{ML}})=[\mathbf{I}(\hat{\theta}_{\mathrm{ML}})]^{-1}$

{\hat{θ}}_{M L} \overset{a}{\sim} N (θ_{0}, [I ({\hat{θ}}_{M L})]^{- 1})

$\hat{\theta}_{\mathrm{ML}}\stackrel{a}{\sim}\mathcal{N}\left(\theta_{0}, [\mathbf{I}(\hat{\theta}_{\mathrm{ML}})]^{-1}\right)$

θ_{0}

$\theta_{0}$

S E ({\hat{θ}}_{M L}) = \frac{1}{\sqrt{I ({\hat{θ}}_{M L})}}

$\mathrm{SE}(\hat{\theta}_{\mathrm{ML}})=\frac{1}{\sqrt{\mathbf{I}(\hat{\theta}_{\mathrm{ML}})}}$

— COOLSerdash
kaynak

1

"Olumsuz log olabilirliği en aza indirildiğinde " (veya optimize edilmişse ) demelidir .

— cmo

8

(Beklenen) Fisher bilgisi: ; gözlemlenen (Fisher) bilgisi sadece dır , çünkü' = 'nin maksimum benzerlik tahminde değerlendirilir çünkü değil, gözlemlenen verinin olası gözlemlerin ortalaması yerine bir işlevidir. Bu, belki de 'üstel bir ailedeki kanonik parametre hakkındaki çıkarımı göz önüne alarak,' olduğunda, tanıdık örneklerle gizlenmiştir .

I (θ) = E I (θ)

$\mathcal{I}(\theta)=\operatorname{E}I(\theta)$

I (θ)

$I(\theta)$

θ

$\theta$

I (θ) = I (θ)

$\mathcal{I}(\theta)=I(\theta)$

— Scortchi - Monica'yı yeniden kurun

6

Olabilirlik fonksiyonlarını tahmin etmek iki aşamalı bir süreci gerektirir.

Birincisi, log-olabilirlik işlevi bildirilir. daha sonra log olabilirlik fonksiyonlarını optimize eder. Bu iyi.

R log olabilirlik fonksiyonları Yazma sizden istediğimiz ( R Optim komut varsayılan olarak bir işlev minimize çünkü - olabilirlik fonksiyonu günlüğünü gösterir). -l minimizasyonu, l maksimizasyonu ile aynıdır, ki istediğimiz budur. $-1*l$ $l$

Şimdi, gözlemlenen Fisher Bilgi Matrisi, eşittir . hassian'ı -1 ile çarpmamamızın nedeni, tüm değerlendirmelerin log olasılığının -1 katı olarak yapıldığıdır. Bu, optim tarafından üretilen kendirin zaten -1 ile çarpıldığı anlamına gelir. $(-H)^-1$

— Adelino Martins
kaynak