Değişken Varyans Altında OLS Asimptotik Olarak Etkili mi?

OLS'nin doğrusal regresyon ortamında heteroseladastisite altında tarafsız fakat etkili olmadığını biliyorum.

Wikipedia'da

http://en.wikipedia.org/wiki/Minimum_mean_square_error

MMSE tahmincisi asimptotik olarak tarafsızdır ve dağıtımda normal dağılıma yakınsar: , burada I (x) x'in Fisher bilgisidir. Bu nedenle, MMSE tahmincisi asimptotik olarak etkilidir. $\sqrt{n}(\hat{x} - x) \xrightarrow{d} \mathcal{N}\left(0 , I^{-1}(x)\right)$

MMSE'nin asimptotik olarak verimli olduğu iddia edilmektedir. Burada biraz kafam karıştı.

Bu OLS'un sonlu örneklemede verimli olmadığı, ancak heteroscedastisite altında asimptotik olarak etkili olduğu anlamına mı geliyor?

Mevcut cevapların eleştirisi: Şimdiye kadar önerilen cevaplar sınırlayıcı dağılımı ele almamaktadır.

Şimdiden teşekkürler

least-squares heteroscedasticity efficiency

— Çağdaş Özgenç
kaynak

Bu oldukça uzun bir wikipedia makalesi. Ayrıca, bunlar değişebileceğinden, karışıklığa neden olan pasajı belirtmek ister misiniz?

— hejseb

Fisher bilgisi, olasılık fonksiyonundan türetilir. Bu nedenle, olasılığın doğru bir şekilde belirtildiği ima edilmektedir. yani, herhangi bir heterosensedastisite varsa, regresyon, heteroscedastisite doğru olarak belirtilecek şekilde ağırlıklandırılmıştır. Bkz. En.wikipedia.org/wiki/Least_squares#Weighted_least_squares . Uygulamada çoğu zaman hetero-esneklik biçimini bilmiyoruz, bu yüzden bazen ağırlık planlarını belirleyerek regresyona önyargılı olma şansını almak yerine bazen verimsizliği kabul ediyoruz.

— Zachary Blumenfeld

@ZacharyBlumenfeld Makalede x'in dağılımı ile ilgili herhangi bir varsayım yoktu. Fisher bilgisine nasıl ulaştık?

— Çağdaş Özgenç

Bkz. En.wikipedia.org/wiki/Fisher_information Makale , tanım bölümünde beklentiler olduğunda ve üzerinde bir dağıtım anlamına gelir . Burada homossedastisitenin asla varsayılmadığını unutmayın. OLS bağlamında, homoscedacticity kabul , birim matris. Heterossedaktiklik, , herhangi bir diyagonal Pozitif yarı-kesinliğe izin verir. Kullanılması kullanarak olandan farklı bir Fisher bilgiye yol açacaksa .

x

$x$

e

$e$

e \sim N (0, σ I)

$\mathbf{e} \sim N(0,\sigma I)$

I

$I$

e \sim N (0, D)

$\mathbf{e} \sim N(0,D)$

D

$D$

D

$D$

σ I

$\sigma I$

— Zachary Blumenfeld

"MMSE'nin dağıtımda normal dağılıma yaklaştığı" gerçeğinin bir kanıtını nereden görebilirim?

— Hacer

Yanıtlar:

Makale tanımda homoskadastisite varsaymamıştır. Makalenin bağlamına koymak için, homoskedasticity diyor ki

E {(\hat{x} - x) (\hat{x} - x)^{T}} = σ ben

$E\{(\hat x-x)(\hat x-x)^T\}=\sigma I$ Nerede

I

$I$ bu

n \times n

$n\times n$ kimlik matrisi ve

σ

$\sigma$ skaler pozitif bir sayıdır. Heteroskadastisite aşağıdakileri sağlar:

E {(\hat{x} - x) (\hat{x} - x)^{T}} = D

$E\{(\hat x-x)(\hat x-x)^T\}=D$

Hiç $D$ diaganol pozitif kesin. Makale, kovaryans matrisi mümkün olan en genel şekilde, bazı örtük çok değişkenli dağılımın ortalanmış ikinci momenti olarak tanımlar. çok değişkenli dağılımını bilmeliyiz $e$ asimptotik olarak verimli ve tutarlı bir tahmin elde etmek $\hat x$ . Bu bir olasılık fonksiyonundan (posteriorun zorunlu bir bileşeni olan) gelecektir. Örneğin, $e \sim N(0,\Sigma)$ (yani $E\{(\hat x-x)(\hat x-x)^T\}=\Sigma$ . O zaman zımni olabilirlik fonksiyonu

günlük [L] = günlük [φ (\hat{x} - x, Σ)]

$\log[L]=\log[\phi(\hat x -x, \Sigma)]$ Nerede

ϕ

$\phi$ çok değişkenli normal pdf'dir.

Balıkçı bilgi matrisi şu şekilde yazılabilir:

ben (x) = E [(\frac{\partial}{\partial x} günlük [L])^{2} | x]

$I(x)=E\bigg[\bigg(\frac{\partial}{\partial x}\log[L]\bigg)^2 \,\bigg|\,x \bigg]$ daha fazla bilgi için en.wikipedia.org/wiki/Fisher_information adresine bakın. Buradan türetebiliriz

\sqrt{n} (\hat{x} - x) \to^{d} N- (0, {ben}^{- 1} (x))

$\sqrt{n}(\hat x -x) \rightarrow^d N(0, I^{-1}(x))$ Yukarıda bir kuadratik kayıp fonksiyonunu kullanıyor ama yok değil homoscedasticity varsayarak.

Gerilediğimiz OLS bağlamında $y$ üzerinde $x$ varsayıyoruz

E {y | x} = x^{'} β

$E\{y|x\}=x'\beta$ Zımni olasılık

günlük [L] = günlük [φ (y - x^{'} β, σ ben)]

$\log[L]=\log[\phi(y-x'\beta, \sigma I)]$ Bu uygun şekilde yeniden yazılabilir

günlük [L] = Σ_{ben = 1}^{n} günlük [φ (y - x^{'} β, σ)]

$\log[L]=\sum_{i=1}^n\log[\varphi(y-x'\beta, \sigma)]$

φ

$\varphi$ tek değişkenli normal pdf. Balıkçı bilgisi

ben (β) = [σ (x x^{'})^{- 1}]^{- 1}

$I(\beta)=[\sigma (xx')^{-1}]^{-1}$

Homoskedastisite karşılanmıyorsa, belirtilen Fisher bilgileri eksik belirtilir (ancak koşullu beklenti fonksiyonu hala doğrudur), bu nedenle $\beta$ tutarlı ama verimsiz olacak. Biz heteroskacticity için hesaba ihtimalini baştan yazabilir ve regresyon olduğunu yazabiliriz yani verimli

günlük [L] = günlük [φ (y - x^{'} β, D)]

$\log[L]=\log[\phi(y-x'\beta, D)]$ Bu, Ağırlıklı en küçük kareler gibi bazı Genelleştirilmiş En Küçük Kareler formlarına eşdeğerdir. Ancak bu olacak Fisher bilgi matrisi değiştirin. Uygulamada çoğu zaman hetero-esneklik biçimini bilmiyoruz, bu yüzden bazen ağırlıklandırma şemalarını belirleyerek regresyona ağırlık vermekten ziyade verimsizliği kabul etmeyi tercih ediyoruz. Bu gibi durumlarda asimtotik kovaryans

β

$\beta$ olduğu değil

\frac{1}{n} I^{- 1} (β)

$\frac{1}{n}I^{-1}(\beta)$ Yukarıda belirtildiği gibi.

— Zachary Blumenfeld
kaynak

Her zaman harcadığın için teşekkürler. Ancak wiki girişinin tam bir saçmalık olduğunu düşünüyorum. MMSE verimlilik vermeyecektir ve hiçbir yerde numunelerin uygun şekilde ağırlıklandırıldığı belirtilmemiştir. Dahası, numunelerin ağırlıklı olduğunu varsaysak bile, dağılım Gauss olmadığı sürece hala etkili bir tahminci değildir, ki bu da belirtilmez.

— Çağdaş Özgenç

@CagdasOzgenc Saygılarımla katılmıyorum. Makale, regresyonun yanı sıra diğer birçok modeli de içeren genel bir Bayesci yolla ifade edilmiştir (daha çok Kalman filtresine yönelik gibi görünmektedir). Olasılık bilindiği zaman en etkili tahmin edicidir, bu olasılıkın temel bir özelliğidir. Söyledikleriniz, birinci dereceden koşulları elde ederken normallik varsayıldığı regresyon modellerinin bir alt kümesi (en yaygın olarak uygulanan modeller arasında olsa da) için geçerlidir.

— Zachary Blumenfeld

Kendin söyledin. Maalesef makale olasılık tahmincisi ile ilgili değildir. Belirli koşullar karşılandığında etkili olan Minimum Ortalama Kare Tahmincisi'dir.

— Çağdaş Özgenç

Tamam katılmıyorum kabul ediyorum :) Belki de MMSE'nin tanımı ile en sık gerilemede nasıl kullanıldığı ve burada daha Bayesci bir ortamda nasıl uygulandığı arasında bir çelişki vardır. Belki de bunun için yeni bir isim icat etmeliler. Bununla birlikte, her bir kare artık için bağımsız beklentiler alınırken olasılıklar (veya belki de parametrik olmayan diğer tahminler) ima edilir. özellikle Bayesli bir ortamda (aksi halde nasıl tahmin ederiz?). Google'dan sonra Wikipedia'dakine benzer birçok sonuç buldum. Her neyse, terminolojinin kötüye kullanıldığını kabul ediyorum.

— Zachary Blumenfeld

Hayır, OLS heteroseladastisite altında verimli değildir. Tahmin edicinin diğer olası tahmin ediciler arasında en az sapmaya sahip olması halinde bir tahmin edicinin etkinliği elde edilir. OLS'de verimlilik ile ilgili açıklamalar, bir tahmin edicinin sınır dağılımına bakılmaksızın yapılır.

— random_guy
kaynak