Yarı maksimum olabilirlik tahmininin (QMLE) arkasındaki fikir ve sezgi

Soru (lar): Yarı maksimum olabilirlik tahmininin (QMLE; sözde maksimum olabilirlik tahmini, PMLE olarak da bilinir) arkasındaki fikir ve sezgi nedir? Gerçek hata dağılımı varsayılan hata dağılımıyla eşleşmediğinde tahmincinin çalışmasını sağlayan nedir?

Vikipedi sitesi QMLE için (noktaya kısa, sezgisel,) iyi, ama biraz daha sezgi ve ayrıntı, belki de bir çizim kullanabilirsiniz. Diğer referanslar çok açıktır. (QMLE'de materyal arayan oldukça fazla ekonometri ders kitabını gözden geçirdiğimi hatırlıyorum ve sürprizime göre, QMLE bunlardan sadece bir veya ikisinde ele alındı, örneğin Wooldridge "Kesit ve Panel Verilerinin Ekonometrik Analizi" (2010), Bölüm 13 Kısım 11, s. 502-517.)

"Gerçek hata dağılımı varsayılan hata dağılımıyla eşleşmediğinde tahmincinin çalışmasını sağlayan nedir?"

Prensip olarak QMPLE yapar değil "iyi" bir tahmincisi olma anlamında, "iş". QMLE etrafında geliştirilen teori yararlıdır, çünkü yanlış tanımlama testlerine yol açmıştır.

QMLE'nin kesinlikle yaptığı, gerçek dağılım ve belirtilen olan arasındaki Kullback-Leiber Diverjans'ı en aza indiren parametre vektörünü sürekli olarak tahmin etmektir. Bu kulağa hoş geliyor, ancak bu mesafeyi en aza indirmek, en aza indirilmiş mesafenin çok büyük olmayacağı anlamına gelmiyor.

Yine de, QMLE'nin gerçek parametre vektörü için tutarlı bir tahmin edici olduğu birçok durum olduğunu okuyoruz . Bu durum tek tek değerlendirilmelidir, ancak QMLE'de gerçek vektör için tutarlı kılan hiçbir şey olmadığını gösteren çok genel bir durum vereyim ...

... Daha ziyade , her zaman tutarlı olan başka bir tahminci ile çakışması (ergodik-durağan örnek varsayımını sürdürmek): eski moda, Momentler Yöntemi tahmincisi.

Diğer bir deyişle, dağılım konusunda şüpheye düşüldüğünde, dikkate alınması gereken bir strateji "her zaman ilgili parametreler için Maksimum Olabilirlik tahmincisinin Momentler Yöntemi tahmincisi ile çakıştığı bir dağılım belirtmektir" : bu şekilde, not dağıtım varsayımınızdır, tahminci en azından tutarlı olacaktır.

Bu stratejiyi saçma uç noktalara götürebilirsiniz: tüm değerlerin pozitif olduğu rastgele bir değişkenten çok büyük bir iid örneğiniz olduğunu varsayın. Devam edin ve rastgele değişkenin normal olarak dağıtıldığını varsayın ve ortalama ve varyans için maksimum olasılık uygulayın: QMLE'nız gerçek değerler için tutarlı olacaktır.

Tabii ki bu soruyu akla getiriyor, çünkü esas olarak yaptığımız şey, Momentler Yöntemi'nin (aynı zamanda asimtotik normallik garantisi de) güçlü yönlerine dayanıyor ve saklanıyor.

Daha rafine edilmiş diğer durumlarda, koşullu ortalama işlevini doğru bir şekilde belirlediğimizi ancak dağılımı değil belirlediğimizi söyleyebilirsek, QMLE'nin ilgili parametreler için tutarlı olduğu gösterilebilir (bu, örneğin Havuzlanmış Poisson QMLE için geçerlidir - bkz. Wooldridge) .

Ancak ilginç bir şekilde, bu formülasyon, parantez içindeki ifadenin RHS'sinde bir tür "tahmin etmek istedikleri şeyi" ayarlayabileceği ve ifadenin bu ilginç hale geleceğine güvenebileceği bir momentler türü tahmin edicisine kulak vermiştir. şey". Denklemleri tahmin eden bir proto formdu.

Denklemleri tahmin etmek yeni bir kavram değildi. Aslında, 1870'lere ve 1900'lerin başlarına kadar EE'leri sunma girişimleri, Taylor genişletmelerini kullanan EE'lerden sınır teoremlerini türetmiştir, ancak olasılıklı bir modelle bağlantı eksikliği, eleştirmenler arasında bir çekişme nedeniydi.

Wedderburn çok önemli birkaç sonuç gösterdi: ilk göstergenin skor denkleminin olduğu genel bir çerçevede kullanılması $S$yerine herhangi bir olasılıksal modele karşılık gelmeyen bir quasiscore kullanılabilir, bunun yerine ilgi konusu bir soruyu cevaplamak istatistiksel olarak sağlam tahminler vermiştir. Genel bir puanı tersine çevirmek, orantılı bir sabite kadar doğru bir olasılıktan gelen genel bir qMLE ile sonuçlanmıştır . Bu oransal sabit "dağılım" olarak adlandırılır. Wedderburn'ün yararlı bir sonucu, olasılık varsayımlarından güçlü ayrılmaların büyük veya küçük dağılımlarla sonuçlanabilmesidir.

Ancak, yukarıda cevap aksine, quasilikelihood gelmiştir yaygın bir şekilde kullanılmaktadır. McCullogh ve Nelder'deki çok güzel bir tartışma, at nalı yengeçlerinin nüfus modellemesi ile ilgilidir. İnsanlardan farklı olarak, çiftleşme alışkanlıkları sadece tuhaftır: birçok erkek, ölçülmemiş "kümelerde" tek bir kadına akın edebilir. Bir ekolog bakış açısından, aslında bu kümeleri gözlemlemek, çalışmalarının kapsamının çok ötesindedir, ancak yine de, yakala ve bırakdan nüfus büyüklüğü tahminlerine ulaşmak önemli bir zorluk yarattı. Bu çiftleşme paterninin, önemli ölçüde düşük dispersiyona sahip bir Poisson modeli ile sonuçlandığı, yani varyansın orantılı olduğu, ancak ortalamaya eşit olmadığı ortaya çıktı.

Dispersiyonlar, çıkarımları genellikle değerlerine dayandırmadığımız için sıkıntı parametreleri olarak kabul edilir ve bunları tek bir olasılıkla birlikte tahmin etmek, oldukça düzensiz olasılıklarla sonuçlanır. Quasilikelihood, özellikle genelleştirilmiş tahmin denklemleri üzerine daha sonraki çalışmaların ışığında, çok yararlı bir istatistik alanıdır .

Richard Hardy tarafından gönderilen orijinal soruya benzer bir sorum vardı. Benim karışıklığım, yarı-ML'den tahmin edilen parametrelerin bilinmeyen "gerçek" dağılımda mevcut olmamasıydı. Bu durumda, "tutarlılık" tam olarak ne anlama gelir? Tahmini parametreler neyle birleşir?

Bazı referansları kontrol ettikten sonra ( Beyaz (1982) orijinal makalelerden biri olmalı ancak kapılı olmalıdır. Bulduğum faydalı bir fuar http://homepage.ntu.edu.tw/~ckuan/pdf/et01/ch9.pdf ), sade İngilizcede düşüncelerim şöyledir: varsaydığımız dağılımın bilinmeyen doğru olana bir yaklaşım olduğunu kabul ettikten sonra yapabileceğimiz pratik şey, mesafelerini en aza indirmek için parametre değerini bulmaktır ( Kullback-Leibler mesafesikesin olmak). Teorinin güzelliği, gerçek dağılımı bilmeye gerek kalmadan, yarı-ML'den tahmin edilen parametrelerin bu mesafe en aza indirgeme parametresine yaklaşmasıdır (elbette, teoriden tahmin edilen asimptotik dağılım gibi başka yararlı sonuçlar vardır. parametreler vb. ancak buradaki sorumun odağı değiller).

Tıpkı yukarıdaki cevabında Alecos Papadopolous'un bahsettiği gibi, minimize edilmiş mesafe hala büyük olabilir. Yani varsaydığımız dağılım doğru olana zayıf bir yaklaşım olabilir. Yarı ML'nin yapabileceği tek şey, varsayılan dağıtımımızı bilinmeyen doğru olana mümkün olduğunca yakın yapmaktır. Umarım burada paylaşılan tecrübelerim benzer kafa karışıklıkları olan başkaları için yararlı olabilir.