Neden Wilks'in 1938'i yanlış tanımlanmış modellerde işe yaramaz?

Ünlü 1938 makalesinde (" Karmaşık hipotezlerin test edilme olasılığı oranının büyük örneklem dağılımı ", Matematiksel İstatistik Annals, 9: 60-62), Samuel Wilks, ( oranı) ' nın asimptotik dağılımını türetmiştir. iç içe hipotezler için, daha büyük hipotezin doğru bir şekilde belirtildiği varsayımı altında. Sınırlayıcı dağılımı (ki-kare) ile serbestlik derecesini daha hipotez ve parametrelerin sayısı olan $2 \times LLR$ $\chi^2$ $h-m$ $h$ $m$ iç içe hipotezdeki serbest parametrelerin sayısıdır. Bununla birlikte, bu sonucun, hipotezler yanlış tanımlandığında (yani, daha büyük hipotez, örneklenen veriler için doğru dağılım olmadığı zaman) geçerli olmadığı varsayılmaktadır.

Nedenini açıklayan var mı? Bana öyle geliyor ki, Wilks'in kanıtı hala küçük değişikliklerle çalışmalı. Hala yanlış tanımlanmış modellerde bulunan maksimum olasılık tahmininin (MLE) asimptotik normalliliğine dayanır. Tek fark sınırlayıcı çok değişkenli normalin kovaryans matrisidir: doğru tanımlanmış modeller için, kovaryans matrisini ters Fisher bilgi matrisi ile yanlış değerlendirebiliriz, yanlış tanımlama ile kovaryans matrisinin sandviç tahminini kullanabiliriz ( ). Model doğru bir şekilde belirtildiğinde, ikincisi Fisher bilgi matrisinin tersine indirgenir ( $J^{-1}$ $J^{-1} K J^{-1}$ $J = K$ ). AFAICT, Wilks kanıtı, kovaryans matrisinin tahmininin nereden geldiği umrunda değil, MLE'ler için normalde çok değişkenli ters bir asimptotik kovaryans matrisi olduğu sürece ( Wilks gazetesinde ). $c^{-1}$

— ratsalad
kaynak

Büyük model doğruysa, ancak alt model yanlışsa, asimptotik dağılım artık değildir (Gauss hatalarına sahip doğrusal modellerde, örneğin, asimetrik F dağılımları gibi şeyler elde ederiz, bu yüzden asimptotik dağılım nc gibi olmalıdır. - Tahmin ediyorum). Öyleyse neden hem büyük hem de küçük model olmasını bekleriz ? Buradaki sıfır hipotezi tam olarak nedir?

χ^{2}

$\chi^2$

χ^{2}

$\chi^2$

χ^{2}

$\chi^2$

— adam

Doğru belirtilen boş hipotezde, her iki model de "true" olur, ancak iç içe geçmişin gerçek değerlerde sabitlenmiş parametreleri vardır . Yanlış tanımlanmış boş hipotezde, her iki model de "yanlış" dır, ancak iç içe geçmişin psödotrü değerlerinde sabitlenmiş parametreleri vardır . ("Pseudotrue value", hatalı belirtilen model ile gerçek model arasındaki Kullback-Liebler mesafesini en aza indiren parametrenin asimptotik değeridir). Yani merkez dışı F örneğinizle ilgili değil, çünkü buradaki boş hipotezin yanlış olduğu dağılım.

m

$m$

m

$m$

— ratsalad

Üzgünüm, iç içe geçmiş hipotezin gerçek değerlerde sabitlenmiş parametrelerine sahip olduğunu söylemeliydim .

h - m

$h-m$

— ratsalad

Benim anladığım kadarıyla yanlış tanımlanmış bir boş model birçok yönden yanlış tanımlanabilir. Örneğin: artıkların yanlış dağılımı, veriler heterosiklik özelliklerine sahiptir, etkiler ilave değildir, vb. Ancak, eğer "test edilmiş" parametrelerden en az birinin yanlış bir değere (örneğin yalancı değer) sabitlendiğini kabul ediyorum. , bu hatalı olarak belirtilen boş bir model örneğidir.

h - m

$h - m$

— rcorty

Yanıtlar:

RV Foutz ve RC Srivastava konuyu ayrıntılı olarak inceledi. Onların 1977 makalesi "Model yanlış olduğunda olabilirlik oranı testinin performansı" ispat belgesinin çok kısa bir eskizinin yanı sıra yanlış belirtilme durumunda dağılım sonucunun bir ifadesini, 1978 tarihli makalesinde ise "olabilirlik oranının asimptotik dağılımı model yanlıştır " ispatını içerir -bu sonuncusu eski tip yazımda yazılmıştır (her iki makale de aynı gösterimi kullanır, bu yüzden bunları okumada birleştirebilirsiniz). Ayrıca, ispatın bazı aşamaları için, 1957'den on-line, hatta kapılı olarak görünmeyen görünme oranının asimptotik dağılımının bir notu olan KP Roy'un bir makalesine atıfta bulunuyorlar.

Dağılımın yanlış tanımlanması durumunda, eğer MLE hala tutarlı ve asimptotik olarak normalse (ki her zaman böyle değildir ), LR istatistiği, bağımsız chi-square'lerin (her bir serbestlik derecesinin her biri) doğrusal bir kombinasyonunu asimptotik olarak izler.

- 2 \ln λ \overset{d}{\to} Σ_{ben = 1}^{r} c_{ben} χ_{ben}^{2}

$-2\ln \lambda \xrightarrow{d} \sum_{i=1}^{r}c_i\mathcal \chi^2_i$

burada . Kişi "benzerliği" görebilir: serbestlik derecesine sahip bir ki-kare yerine, her biri bir serbestlik derecesine sahip olan ki- sahibiz . Ancak “benzetme” burada durur, çünkü ki kare karelerin doğrusal bir birleşimi kapalı form yoğunluğuna sahip değildir. Her bir ölçeklendirilmiş ki-kare bir , ancak gama için farklı bir ölçek parametresine yol açan farklı bir parametresi vardır ve bu gamaların toplamı kapalı formda değildir, ancak değerleri hesaplanabilir. $r=h-m$ $h-m$ $h-m$ $c_i$

İçin sabitler, elimizdeki ve onlar bir matris ... matris özdeğer nelerdir? Peki, yazarların gösterimini kullanarak, log olabilirliği Hessiyeni, ise log olasılığını degradesinin dış ürünü olacak şekilde ayarlayın (beklenen terimlerle). Öyleyse , MLE'nin asimptotik varyans-kovaryans matrisidir. $c_i$ $c_1 \geq c_2\geq ...c_r \geq0$ $\Lambda$ $C$ $V = \Lambda^{-1} C (\Lambda')^{-1}$

Ardından yi nin üst çapraz bloğu olacak şekilde ayarlayın . $M$ $r \times r$ $V$

Ayrıca bloğuna da yazınız. $\Lambda$

Λ = [\begin{matrix} Λ_{r \times r} & Λ_{2}^{'} \\ Λ_{2} & Λ_{3} \end{matrix}]

$\Lambda =\left [\begin {matrix} \Lambda_{r\times r} & \Lambda_2'\\ \Lambda_2 & \Lambda_3\\ \end{matrix}\right]$

ve ( , Schur Tamamlayıcısının negatifidir ). $W = -\Lambda_{r\times r}+\Lambda_2'\Lambda_3^{-1}\Lambda_2$ $W$ $\Lambda$

Daha sonra 'ler , parametrelerin gerçek değerlerinde değerlendirilen matrisinin öz değerleridir. $c_i$ $MW$

ADDENDUM
Yorumlarda OP'nin geçerli sözlerine cevap vermek (bazen sorular gerçekten daha genel bir sonuç paylaşmak için bir sıçrama tahtası haline gelir ve süreç içinde kendileri ihmal edilebilir), işte Wilks'in kanıtı şöyle devam eder: Wilks ortaklıkla başlar MLE'nin normal dağılışı ve Olabilirlik Oranının işlevsel ifadesini türetmeye devam eder. Eşd. Dahil , ispatın dağıtımsal bir yanlış tanımlamaya sahip olduğumuzu varsaysak bile ileriye doğru gidebiliriz: OP'nin belirttiği gibi, varyans kovaryansı matrisinin şartları yanlış tanımlama senaryosunda farklı olacaktır, ancak tüm Wilks'in türev alması ve tanımlaması asimptotik olarak ihmal edilebilir terimler. Ve böylece eq'ye geldi. Olasılık oranının istatistiki olduğunu $[9]$ $[9]$ eğer şartname doğruysa, sadece kare standart normal rastgele değişkenlerin toplamıdır ve bu nedenle serbestlik derecelerine sahip bir ki kare şeklinde dağıtılır : (genel gösterim) $h-m$ $h-m$

- 2 \ln λ = \sum_{i = 1}^{h - m} {(\sqrt{n} \frac{{\hat{θ}}_{i} - θ_{i}}{σ_{i}})}^{2} \overset{d}{\to} χ_{h - m}^{2}

$-2\ln \lambda = \sum_{i=1}^{h-m}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{\sigma_i}\right)^2 \xrightarrow{d} \mathcal \chi^2_{h-m}$

Ancak, eğer belirtimimiz yanlış ise, ortalanmış ve büyütülmüş MLE ölçeklendirmek için kullanılan terimler, artık her bir öğenin varyanslarını birliğe eşit yapacak terimler değildir. ve böylece her bir terimi standart bir normal rv'ye ve toplamı ki-kare'ye dönüştürün. Ve öyle değiller, çünkü bu terimler log-olasılıkının ikinci türevlerinin beklenen değerlerini içeriyor ... ama beklenen değer ancak gerçek dağılıma göre alınabilir, çünkü MLE verinin bir fonksiyonudur. veriler gerçek dağılımı takip ederken, log olasılığının ikinci türevleri yanlış yoğunluk varsayımına dayanarak hesaplanır. $\sqrt n(\hat \theta -\theta)$

Bu nedenle yanlış belirtime göre ve yapabileceğimiz en iyi şey onu manipüle etmektir.

- 2 \ln λ = \sum_{i = 1}^{h - m} {(\sqrt{n} \frac{{\hat{θ}}_{i} - θ_{i}}{a_{i}})}^{2}

$-2\ln \lambda = \sum_{i=1}^{h-m}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{a_i}\right)^2$

- 2 \ln λ = \sum_{i = 1}^{h - m} \frac{σ_{i}^{2}}{a_{ben}^{2}} {(\sqrt{n} \frac{{\hat{θ}}_{ben} - θ_{ben}}{σ_{ben}})}^{2} = Σ_{ben = 1}^{h - m} \frac{σ_{ben}^{2}}{{bir}_{ben}^{2}} χ_{1}^{2}

$-2\ln \lambda = \sum_{i=1}^{h-m}\frac {\sigma_i^2}{a_i^2}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{\sigma_i}\right)^2 = \sum_{i=1}^{h-m}\frac {\sigma_i^2}{a_i^2}\mathcal \chi^2_1$

ki bu, ölçeklenmiş ki-kare rv'lerin toplamıdır, artık serbestlik derecesine sahip ki-ki-kare olmayan bir rv olarak dağıtılmaz . OP tarafından sağlanan referans, Wilks'in özel bir vaka olarak sonucunu içeren bu daha genel davanın açık bir ifadesidir. $h-m$

— Alecos Papadopoulos
kaynak

Bu, model yanlış belirlendiğinde bu sadece standart sonucun bir tekrarıdır. Bu sonuç birçok kez elde edildi ve yeniden elde edildi. Gördüğüm en net ve en aydınlatıcı türev Kent 1982 “ Olabilirlik Oran Testlerinin Sağlam Özellikleri ” (Biometrika 69:19) 'dan. Ancak sorumu cevaplamadın. Benim sorum özellikle Wilks 1938'in kanıtı ve neden başarısız olduğu ile ilgiliydi.

— ratsalad

Wilks'in 1938 ispatı işe yaramıyor çünkü Wilks, ismini asimptotik kovaryans matrisi olarak kullandı. sandviç tahmincisi yerine negatif kütük olasılığının Hessian'ın tersidir . Wilks , elementini olarak . Varsayım yaparak bu Wilks (1938) varsayarak Fisher Bilgi Matrix eşitliği olan tutar. Olasılık modeli doğru tanımlanmışsa $J^{-1}$ $J^{-1}$ $J^{-1} K J^{-1}$ $ij$ $J$ $c_{ij}$ $J^{-1}KJ^{-1} = J^{-1}$ $K=J$ $K=J$ . Dolayısıyla Wilks tarafından yapılan varsayımın yorumlanması, olasılık modelinin doğru bir şekilde tanımlandığı konusunda daha güçlü bir varsayımda bulunduğunu varsaydığıdır.

— RİG
kaynak