Gözlemlenen Fisher bilgileri neden tam olarak kullanılıyor?

17

Standart en yüksek olabilirlik ortamda (IID örnek yoğunluğu olan bir dağılımdan ve doğru bir şekilde belirtilen model halinde Fisher bilgisi ile verilir)) $Y_{1}, \ldots, Y_{n}$ $f_{y}(y|\theta_{0}$

I (θ) = - E_{θ_{0}} [\frac{\partial^{2}}{θ^{2}} \ln f_{y} (θ)]

$I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right]$

burada verileri üreten gerçek yoğunluğa ilişkin beklenti alınır. Gözlemlenen Fisher bilgilerinin

\hat{J} (θ) = - \frac{\partial^{2}}{θ^{2}} \ln f_{y} (θ)

$\hat{J}(\theta) = -\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta)$

birincil olarak kullanılır, çünkü (beklenen) Fisher Bilgisinin hesaplanmasında kullanılan integral bazı durumlarda mümkün olmayabilir. Beni şaşırtan şey, integral yapılabilir olsa bile, bilinmeyen parametre değeri içeren gerçek modele ilişkin beklentinin alınması gerektiğidir . Eğer durum buysa, bilmeden hesaplamak mümkün değildir . Bu doğru mu? $\theta_{0}$ $\theta_{0}$ $I$

maximum-likelihood fisher-information

— user2249626
kaynak

13

Gerçek parametresini: Burada dört quanties var , tutarlı bir tahmin , beklenen bilgi de ve gözlenen bilgiler de . Bu miktarlar sadece asimptotik olarak eşdeğerdir, ancak tipik olarak bu şekilde kullanılırlar. $\theta_0$ $\hat \theta$ $I(\theta)$ $\theta$ $J(\theta)$ $\theta$

Gözlemlenen bilgi olasılıkla beklenen bilgiye yakınsar
$J (θ_{0}) = \frac{1}{N} \sum_{i = 1}^{N} \frac{\partial^{2}}{\partial θ_{0}^{2}} \ln f (y_{i} | θ_{0})$ $J (\theta_0) = \frac{1}{N} \sum_{i=1}^N \frac{\partial^2}{\partial \theta_0^2} \ln f( y_i|\theta_0)$ ,dan bir iid örneği olduğunda. Burada,endekslenen dağılımın w / r / t beklentisini gösterir:. Bu yakınsama, çok sayıda yasa nedeniyle geçerlidir, bu nedenle $I (θ_{0}) = E_{θ_{0}} [\frac{\partial^{2}}{\partial θ_{0}^{2}} \ln f (y | θ_{0})]$ $I(\theta_0) = E_{\theta_0} \left[ \frac{\partial^2}{\partial \theta_0^2} \ln f( y| \theta_0) \right]$ $Y$ $f(\theta_0)$ $E_{\theta_0} (x)$ $\theta_0$ $\int x f(x | \theta_0) dx$ burada çok önemlidir. $Y \sim f(\theta_0)$
Eğer bir tahmin var zaman gerçek parametreye olasılık yakınsak olduğu (yani tutarlı) daha sonra her yerde bunu yerine kullanabilirsiniz Eğer bir bakın esasen nedeniyle sürekli dönüşüm teoremi için, yukarıdaki ve tüm yakınsamaların tutmaya devam ediyor. $\hat \theta$ $\theta_0$ $\theta_0$ $^*$

Aslında,biraz ince görünüyor. $^*$

düşünce

Tahmin ettiğiniz gibi, gözlemlenen bilgilerle çalışmak daha kolaydır, çünkü farklılaşma entegrasyondan daha kolaydır ve bunu bazı sayısal optimizasyonlar sırasında zaten değerlendirmiş olabilirsiniz. Bazı durumlarda (Normal dağılım) aynı olacaktır.

Efron ve Hinkley (1978) tarafından yazılan "Maksimum Olabilirlik Tahmincisinin Doğruluğunu Değerlendirme: Beklenen Balıkçı Bilgisine Karşı Gözlemleme" makalesi, sonlu örnekler için gözlemlenen bilgiler lehine bir tartışma yapmaktadır.

— Andrew M
kaynak

4

Efron & Hinkley'in teorik gözlemlerini (Andrew'un cevabında belirtilmiştir) destekleyici görünen bazı simülasyon çalışmaları var, işte hazırlıksız bildiğim biri: Maldonado, G. ve Greenland, S. (1994). Doğru model formu bilinmediğinde model tabanlı güven aralıklarının performansının karşılaştırılması. Epidemiyoloji, 5, 171-182. Çelişen herhangi bir çalışma görmedim. İlginç olduğunu bildiğim standart GLM paketleri Wald aralıklarını hesaplamak için beklenen bilgileri kullanıyor. Elbette bu, (doğal parametrede lineer GLM'lerde olduğu gibi) gözlemlenen ve beklenen bilgi matrisleri eşit olduğunda bir sorun değildir.

— Sander Grönland
kaynak