Gözlemlenen bilgi matrisi, beklenen bilgi matrisinin tutarlı bir tahmincisidir?

16

Zayıf tutarlı maksimum olabilirlik tahmin edicisinde (MLE) değerlendirilen gözlemlenen bilgi matrisinin, beklenen bilgi matrisinin zayıf tutarlı bir tahmincisi olduğunu kanıtlamaya çalışıyorum. Bu yaygın olarak alıntılanan bir sonuçtur ancak kimse bir referans veya kanıt vermez (Bence google sonuçlarının ve istatistiklerimin ders kitaplarının ilk 20 sayfasını bitirdim)!

Zayıf şekilde tutarlı bir MLE dizisi kullanarak büyük sayıların (WLLN) zayıf yasasını ve istediğim sonucu elde etmek için sürekli haritalama teoremini kullanabilirim. Ancak sürekli haritalama teoreminin kullanılamayacağına inanıyorum. Bunun yerine büyük sayıların (ULLN) tekdüzen yasasının kullanılması gerektiğini düşünüyorum. Bunun kanıtı olan bir referansı bilen var mı? ULLN'de bir teşebbüsüm var ama şimdilik kısalık için atladım.

Bu sorunun uzunluğu için özür dilerim ama gösterim sunulmalıdır. İşaretleme folow (kanıtım sonunda).

Rastgele değişkenlerin bir iid örnek sahip varsayalım yoğunlukları ile , (burada , örneğin herhangi bir üyesiyle aynı yoğunluğa sahip genel bir rastgele değişkendir). Vektör tüm numune vektörlerinin vektör tüm . Yoğunlukların gerçek parametre değeri ve nın zayıf tutarlı maksimum olasılık tahmin (MLE) $\{Y_1,\ldots,Y_N\}$ $f(\tilde{Y}|\theta)$ $\theta\in\Theta\subseteq\mathbb{R}^{k}$ $\tilde{Y}$ $Y=(Y_1,\ldots,Y_N)^{T}$ $Y_{i}\in\mathbb{R}^{n}$ $i=1,\ldots,N$ $\theta_{0}$ $\hat{\theta}_{N}(Y)$ $\theta_{0}$ . Düzenlilik koşullarına bağlı olarak Fisher Information matrisi şu şekilde yazılabilir:

I (θ) = - E_{θ} [H_{θ} (\log f (\tilde{Y} | θ)]

$I(\theta)=-E_\theta \left[H_{\theta}(\log f(\tilde{Y}|\theta)\right]$

burada Hessian matrisidir. Örnek eşdeğeri ${H}_{\theta}$

I_{N} (θ) = \sum_{i = 1}^{N} I_{y_{i}} (θ),

$I_N(\theta)=\sum_{i=1}^N I_{y_i}(\theta),$

burada . Gözlenen bilgi matrisi; $I_{y_i}=-E_\theta \left[H_{\theta}(\log f(Y_{i}|\theta)\right]$

$J(\theta) = -H_\theta(\log f(y|\theta)$ ,

(bazı insanlar matrisin adresinde değerlendirilmesini bazıları istemez). Gözlemlenen örnek bilgi matrisi; $\hat{\theta}$

$J_N(\theta)=\sum_{i=1}^N J_{y_i}(\theta)$

burada . $J_{y_i}(\theta)=-H_\theta(\log f(y_{i}|\theta)$

I tahmincisi olasılığında yakınsama ispat için değil bölgesinin ile . İşte şimdiye kadarki kanıtım; $N^{-1}J_N(\theta)$ $I(\theta)$ $N^{-1}J_{N}(\hat{\theta}_N(Y))$ $I(\theta_{0})$

Şimdi elementtir arasında , herhangi örnek IID, o olasılık olarak çok sayıda (WLLN), bu summands yakınsak ortalama zayıf hakları ile. . Böylece tüm için vb. Maalesef $(J_{N}(\theta))_{rs}=-\sum_{i=1}^N (H_\theta(\log f(Y_i|\theta))_{rs}$ $(r,s)$ $J_N(\theta)$ $r,s=1,\ldots,k$ $-E_{\theta}[(H_\theta(\log f(Y_{1}|\theta))_{rs}]=(I_{Y_1}(\theta))_{rs}=(I(\theta))_{rs}$ $N^{-1}(J_N(\theta))_{rs}\overset{P}{\rightarrow}(I(\theta))_{rs}$ $r,s=1,\ldots,k$ $N^{-1}J_N(\theta)\overset{P}{\rightarrow}I(\theta)$ $N^{-1}J_{N}(\hat{\theta}_N(Y))\overset{P}{\rightarrow}I(\theta_0)$ , aynı işlev olmadığından sürekli eşleme teoremini kullanarak . $N^{-1}J_{N}(\cdot)$ $I(\cdot)$

Bu konuda herhangi bir yardım büyük mutluluk duyacağız.

— Dandar
kaynak

İlgili: Ampirik Fisher bilgi matrisinin yakınsama hızı .

Aşağıdaki cevabım sorunuza cevap veriyor mu?

— Dapz

1

@Dapz Lütfen şimdiye kadar size cevap vermediğim için en içten özürlerimi kabul edin - kimsenin cevap vermeyeceğini varsaymakla hata yaptım. Aşağıdaki cevabınız için teşekkür ederim - En faydalı olduğunu görebildiğim için oyumu iptal ettim, ancak bunu düşünmek için biraz zaman harcamam gerekiyor. Zaman ayırdığınız için teşekkür ederiz, yakında yazınıza yanıt vereceğim.

— dandar

7

$\newcommand{\convp}{\stackrel{P}{\longrightarrow}}$

Sanırım doğrudan çok sayıda tek tip bir yasa oluşturmak olası bir yaklaşımdır.

İşte başka.

Biz göstermek istiyoruz . $\frac{J^N(\theta_{MLE})}{N} \convp I(\theta^*)$

(Dediğiniz gibi, WLLN tarafından . Ama bu doğrudan bize yardımcı olmuyor.) $\frac{J^N(\theta)}{N} \convp I(\theta)$

Olası bir strateji

| I (θ^{*}) - \frac{J^{N} (θ^{*})}{N} | \overset{P}{⟶} 0.

$|I(\theta^*) - \frac{J^N(\theta^*)}{N}| \convp 0.$

ve

| \frac{J^{N} (θ_{M L E})}{N} - \frac{J^{N} (θ^{*})}{N} | \overset{P}{⟶} 0

$|\frac{J^N(\theta_{MLE})}{N} - \frac{J^N(\theta^*)}{N}| \convp 0$

Her iki sonuç da doğruysa, bunları

| I (θ^{*}) - \frac{J^{N} (θ_{M L E})}{N} | \overset{P}{⟶} 0,

$|I(\theta^*) - \frac{J^N(\theta_{MLE})}{N}| \convp 0,$

tam olarak göstermek istediğimiz şey bu.

İlk denklem büyük sayıların zayıf yasasından kaynaklanmaktadır.

İkinci neredeyse Sürekli eşleme teoremden, ama ne yazık ki bizim işlevi biz değişikliklere CMT uygulamak istediğiniz : Bizim gerçekten . Bu yüzden CMT'yi kullanamayız. $g()$ $N$ $g$ $g_N(\theta) := \frac{J^N(\theta)}{N}$

(Yorum: CMT'nin kanıtını Wikipedia'da incelerseniz, bizim kanıtlarında tanımladıkları setinin şimdi de bağlı olduğuna dikkat edin. işlevlerimiz üzerinde esas olarak çeşit .) $B_\delta$ $n$ $\theta^*$ $g_N(\theta)$

Neyse ki, ailenin , da stokastik olarak eşittir , hemen , $\mathcal{G} = \{g_N | N=1,2,\ldots\}$ $\theta^*$ $\theta_{MLE} \convp \theta^*$

\begin{aligned} | g_{n} (θ_{M L E}) - g_{n} (θ^{*}) | \overset{P}{⟶} 0. \end{aligned}

$\begin{align*} |g_n(\theta_{MLE}) - g_n(\theta^*)| \convp 0. \end{align*}$

( stokastik eşitlik tanımı ve yukarıdaki gerçeğin bir kanıtı için http://www.cs.berkeley.edu/~jordan/courses/210B-spring07/lectures/stat210b_lecture_12.pdf adresine bakın . ) $\theta^*$

Bu nedenle, nin at olduğu varsayılarak, istediğiniz sonuç doğrudur ve ampirik Fisher bilgisi, Fisher bilgisini topluluğa yakınlaştırır. $\mathcal{G}$ $\theta^*$

Şimdi, asıl soru şu ki, SE almak için a ne tür şartlar koymanız gerekiyor ? Bunu yapmanın bir yolu, işlevlerinin tüm sınıfında bir Lipshitz koşulu oluşturmaktır (buraya bakın: http://econ.duke.edu/uploads/media_items/uniform-convergence-and-stochastic -ekdisite.original.pdf ). $\mathcal{G}$ $\mathcal{G}$

— DAPZ
kaynak

1

Stokastik denklik kullanarak yukarıdaki cevap çok iyi çalışıyor, ama burada gözlemlenen bilgi matrisinin bilgi matrisinin güçlü bir şekilde tutarlı bir tahmincisi olduğunu göstermek için çok sayıda tekdüze bir yasa kullanarak kendi sorumu cevaplıyorum, yani güçlü bir şekilde tutarlı bir tahminci dizisi . Umarım tüm detaylarda doğrudur. $N^{-1}J_{N}(\hat{\theta}_{N}(Y))\overset{a.s.}{\longrightarrow}I(\theta_{0})$

Biz kullanacağız geçici notasyonu benimsenerek bir indeks kümesi olmak ve bize 'nın rastgele vektöre bağımlılığı hakkında açık olmak için . Ayrıca ve Bu tartışma için , . Fonksiyonu gerçek değerli dizisi üzerinde ve bunun Lebesgue olduğunu varsayalım edecektir her için ölçülebilir $I_{N}=\{1,2,...,N\}$ $J(\tilde{Y},\theta):=J(\theta)$ $J(\theta)$ $\tilde{Y}$ $(J(\tilde{Y},\theta))_{rs}$ $(J_{N}(\theta))_{rs}=\sum\nolimits_{i=1}^{N}(J(Y_{i},\theta))_{rs}$ $r,s=1,...,k$ $(J(\cdot,\theta))_{rs}$ $\mathbb{R}^{n}\times\Theta^{\circ}$ $\theta\in\Theta^{\circ}$ . Çok sayıda tek tip (güçlü) yasa, altında bir dizi koşul tanımlar.

$\underset{\theta\in\Theta}{\text{sup}}\left|N^{-1}(J_{N}(\theta))_{rs}-E_{\theta}\left[(J(Y_{1},\theta))_{rs}\right]\right|=\nonumber\\ \hspace{60pt}\underset{\theta\in\Theta}{\text{sup}}\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(Y_{i},\theta))_{rs}-(I(\theta))_{rs}\right|\overset{a.s}{\longrightarrow}0\hspace{100pt}(1)$

(1) 'in tutması için yerine getirilmesi gereken koşullar (a) kompakt bir ; (b) üzerinde 1 olasılığı olan sürekli bir işlevdir ; (c) her için , , yani ; ve (d) her için ; Bu koşullar Jennrich'ten gelir (1969, Teorem 2). $\Theta^{\circ}$ $(J(\tilde{Y},\theta))_{rs}$ $\Theta^{\circ}$ $\theta\in \Theta^{\circ}$ $(J(\tilde{Y},\theta))_{rs}$ $h(\tilde{Y})$ $|(J(\tilde{Y},\theta))_{rs}|<h(\tilde{Y})$ $\theta\in \Theta^{\circ}$ $E_{\theta}[h(\tilde{Y})]<\infty$

Şimdi herhangi bir , ve için aşağıdaki eşitsizlik açıkça geçerlidir $y_{i}\in\mathbb{R}^{n}$ $i\in I_{N}$ $\theta'\in S\subseteq\Theta^{\circ}$

$\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(y_{i},\theta'))_{rs}-(I(\theta'))_{rs}\right|\leq\underset{\theta\in S}{\text{sup}}\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(y_{i},\theta))_{rs}-(I(\theta))_{rs}\right|.\hspace{50pt}(2)$

Varsayalım ki ilişkin tahmin kuvvetli bir şekilde tutarlı dizisidir , ve izin açık topu yarıçapı ile , olarak ve kompakt olduğunu varsayalım . O zamandan beri için yeterince büyük bir Elimizdeki yeterince büyük . (2) ile birlikte bu $\{\hat{\theta}_{N}(Y)\}$ $\theta_{0}$ $\Theta_{N_{1}}=B_{\delta_{N_{1}}}(\theta_{0})\subseteq K\subseteq \Theta^{\circ}$ $\mathbb{R}^{k}$ $\delta_{N_{1}}\rightarrow 0$ $N_{1}\rightarrow\infty$ $K$ $\hat{\theta}_{N}(Y)\in \Theta_{N_{1}}$ $N$ $P[\underset{N}{\text{lim}}\{\hat{\theta}_{N}(Y)\in\Theta_{N_{1}}\}]=1$ $N$

$P\left[\underset{N\rightarrow\infty}{\text{lim}}\left\{\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(Y_{i},\hat{\theta}_{N}(Y)))_{rs}-(I(\hat{\theta}_{N}(Y)))_{rs}\right|\leq\right.\right.\nonumber\\ \hspace{40pt}\left.\left.\underset{\theta\in\Theta_{N_{1}}}{\text{sup}}\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(Y_{i},\theta))_{rs}-(I(\theta))_{rs}\right|\right\}\right]=1.\hspace{100pt}(3)$

Şimdi , Jennrich'in (1969, Teorem 2) (a) - (d) koşullarının . Böylece (1) ve (3) $\Theta_{N_{1}}\subseteq\Theta^{\circ}$ $\Theta_{N_{1}}$

$P\left[\underset{N\rightarrow\infty}{\text{lim}}\left\{\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(Y_{i},\hat{\theta}_{N}(Y)))_{rs}-(I(\hat{\theta}_{N}(Y)))_{rs}\right|=0\right\}\right]=1.\hspace{100pt}(4)$

Yana , sonra (4) anlamına gelir . (3) ancak küçük tutar Not , ve (4) ile sonuçlanmaktadır, böylece bir seçim bağımsızdır dışında seçilmelidir, böylece . Bu sonuç tüm vb. İçin geçerlidir Matrisler açısından . $(I(\hat{\theta}_{N}(Y)))_{rs}\overset{a.s.}{\longrightarrow}I(\theta_{0})$ $N^{-1}(J_{N}(\hat{\theta}_{N}(Y)))_{rs}\overset{a.s.}{\longrightarrow}(I(\theta_{0}))_{rs}$ $\Theta_{N_{1}}$ $N_{1}$ $N_{1}$ $\Theta_{N_{1}}\subseteq \Theta^{\circ}$ $r,s=1,...,k$ $N^{-1}J_{N}(\hat{\theta}_{N}(Y))\overset{a.s.}{\longrightarrow}I(\theta_{0})$

— Dandar
kaynak