MLE tahmini, model doğru olmasa bile asimptotik olarak normal ve verimli mi?

Öncül: bu aptalca bir soru olabilir. Sadece MLE asimptotik özellikleriyle ilgili açıklamaları biliyorum, ama kanıtları hiç çalışmadım. Eğer yapsaydım, belki bu soruları sormayacaktım, ya da belki de bu soruların anlamsız olduğunu fark ederdim ... bu yüzden lütfen bana kolay davran :)

Bir modelin parametrelerinin MLE tahmincisinin asimptotik olarak normal ve verimli olduğunu söyleyen ifadeler gördüm. İfade genellikle şu şekilde yazılır:

, N→$\hat{\theta}\xrightarrow[]{d}\mathcal{N}(\theta_0,\mathbf{I}(\theta_0)^{-1})$ olarak$N\to\infty$

burada örnek sayısıdır, Fisher ve parametre (vektör) gerçek değeridir . Şimdi, gerçek bir modele referans olduğu için, bu model doğru değilse sonucun tutmayacağı anlamına mı geliyor?I θ $N$$\mathbf{I}$$\theta_0$

Örnek: Rüzgâr hızı artı toplayıcı Gauss gürültüsünün bir fonksiyonu olarak bir rüzgar türbini I model güç çıkışını varsayalım $P$$V$

$P=\beta_0+\beta_1V+\beta_2V^2+\epsilon$

Modelin yanlış olduğunu biliyorum, en az iki nedenden dolayı: 1) , üçüncü gücü ile gerçekten orantılıdır ve 2) hata katkı maddesi değildir, çünkü rüzgar hızı ile ilişkisiz olmayan diğer tahmincileri ihmal ettim (ayrıca biliyorum) o 0 olmalıdır 0 rüzgar hızında) hiçbir güç oluşturulur, ama bu burada alakalı değil çünkü. Şimdi, rüzgar türbinimden gelen sonsuz bir güç ve rüzgar hızı verileri veritabanım olduğunu varsayalım. İstediğim kadar numune alabilirim. Her biri 100 boyutunda 1000 örnek çizdiğimi ve \ boldsymbol {\ beta}} _ {100} , \ boldsymbol {\ beta} = (\ beta_0, \ beta_1, \ beta_2) hesaplamasını yaptığımı varsayalımV β $P$$V$$\beta_0$$\hat{\boldsymbol{\beta}}_{100}$$\boldsymbol{\beta}=(\beta_0,\beta_1,\beta_2)$(benim modelim altında sadece OLS tahmini olurdu). Böylece \ hat {\ boldsymbol {\ beta}} _ {100} dağıtımından 1000 örneğim var$\hat{\boldsymbol{\beta}}_{100}$ . Egzersizi N = 500,1000,1500, \ dots ile tekrarlayabilirim $N=500,1000,1500,\dots$. As $N\to\infty$ , dağılımı olmalıdır $\hat{\boldsymbol{\beta}}_{N}$ belirtilen ortalama ve varyans ile, asimptotik normal olmak eğilimindedir? Yoksa modelin yanlış olması bu sonucu geçersiz kılar mı?

Sormamın nedeni, nadiren (eğer varsa) modelin uygulamalarda "doğru" olmasıdır. Model doğru olmadığında MLE'nin asimptotik özellikleri kaybolursa, modelin doğru olduğu bir ortamda daha az güçlü olsa da, diğer durumlarda MLE'den daha iyi performans gösterebilecek farklı tahmin ilkelerini kullanmak mantıklı olabilir.

EDIT : yorumlarda gerçek model kavramının sorunlu olabileceği belirtildi. Aklımda şu tanım vardı: f_ parametre vektörü tarafından belirtilen bir model ailesi, her zaman yazabileceğiniz ailenin her modeli için $f_{\boldsymbol{\theta}}(x)$$\boldsymbol{\theta}$

$Y=f_{\boldsymbol{\theta}}(X)+\epsilon$

olarak tanımlayarak . Bununla birlikte, genel olarak hata dik olmayacak , ortalama 0'a sahip olmayacak ve modelin türetilmesinde varsayılan olarak dağıtılamayacaktır. Bir değer , bu iki özelliğe ve varsayılan dağıtıma sahipse, modelin doğru olduğunu söyleyebilirim. Bu doğrudan olduğunu söylemekle ilgili olduğunu düşünüyorum , çünkü ayrıştırmadaki hata terimi$\epsilon$$Y-f_{\boldsymbol{\theta}}(X)$$X$$\boldsymbol{\theta_0}$$\epsilon$$f_{\boldsymbol{\theta_0}}(X)=E[Y|X]$

$Y=E[Y|X]+\epsilon$

yukarıda belirtilen iki özelliğe sahiptir.

Bu sorunun tek bir cevabı olduğuna inanmıyorum.

Maksimum olabilirlik tahmini uygularken olası dağılım yanlışlığı göz önüne alındığında, "Yarı-Maksimum Olabilirlik" tahmincisi (QMLE) elde edilir. Bazı durumlarda QMLE hem tutarlı hem de asemptolojik olarak normaldir.

Kesin olarak kaybettiği şey asimtotik verimliliktir. Bunun nedeni, nın asimptotik varyansının (bu, yalnızca değil, asimptotik dağılımı olan miktardır ) her durumda,$\sqrt n (\hat \theta - \theta)$$\hat \theta$

burada , log-olasılık olasılığının Hessian matrisidir ve , gradyantır ve şapka, örnek tahminleri gösterir.$H$$S$

Şimdi, eğer elimizde doğru şartname, biz, öncelikle, almak

burada " " alt sınırı, gerçek parametrelerde değerlendirmeyi belirtir (ve orta terimin Fisher Information'ın tanımı olduğunu unutmayın) ve ikincisi, " bilgi matrisi eşitliği " nin tuttuğu ve belirttiği , yani asimptotik varyans sonunda$0$$-\mathbb E[H_0] = \mathbb E[S_0S_0^T]$

bu da Fisher bilgilerinin tersidir.

Ancak yanlış bir ifademiz varsa, ifadesi ifadesine yol açmaz (çünkü deki birinci ve ikinci türevler yanlış olasılığa dayanarak türetilmiştir). Bu da, bilgi matrisi eşitsizliğinin dayanmadığını, ifadesiyle sonuçlanmadığımızı ve (Q) MLE'nin tam asimtotik verim elde etmediğini ima eder .( 2 ) ( 1 ) ( 3 $(1)$$(2)$$(1)$$(3)$