Doğrusal regresyonda hata terimlerinde sabit olmayan varyansa sahip olmanın sonuçları nelerdir?

Doğrusal regresyonun varsayımlarından biri, hata terimlerinde sürekli bir varyans olması ve modelle ilişkili güven aralıkları ve hipotez testlerinin bu varsayımı temel almasıdır. Hata terimleri sabit bir varyansa sahip değilse tam olarak ne olur?

— Kira
kaynak

Heterosedastisitenin sonuçları:

Sıradan en küçük kareler (OLS) tahmincisi $\hat{\mathbf{b}} = \left(X'X \right)X'\mathbf{y}$ hala tutarlıdır, ancak artık verimli değildir .
Tahmin $\hat{\mathrm{Var}}\left(\mathbf{b} \right) = \left( X'X\right)^{-1} \hat{\sigma}^2$ nerede $\hat{\sigma}^2 = \frac{1}{n-k} \mathbf{e'}{\mathbf{e}}$ olduğu değil tutarlı tahmincisi tahmincisi kovaryans matrisi için artık $\hat{\mathbf{b}}$ . Hem taraflı hem de tutarsız olabilir. Ve pratikte, varyansı büyük ölçüde küçümseyebilir.

(1) noktası önemli bir konu olmayabilir; insanlar genellikle normal OLS tahmincisini kullanırlar. Ancak 2. noktaya değinilmelidir. Ne yapalım?

Heterosedansisite tutarlı standart hatalara ihtiyacınız vardır . Standart yaklaşım, büyük örnek varsayımlarına, asimptotik sonuçlara dayanmak ve $\mathbf{b}$ kullanarak:

\hat{V bir r} (b) = \frac{1}{n} {(\frac{X^{'} X}{n})}^{- 1} S {(\frac{X^{'} X}{n})}^{- 1}

$\hat{\mathrm{Var}}\left(\mathbf{b}\right)=\frac{1}{n}\left( \frac{X'X}{n} \right)^{-1} S \left( \frac{X'X}{n} \right)^{-1}$ nerede

S

$S$ olarak tahmin ediliyor

S = \frac{1}{n - k} \sum_{i} (x_{i} e_{i}) {(x_{i} e_{i})}^{'}

$S = \frac{1}{n-k}\sum_i \left(\mathbf{x}_i e_i\right) \left(\mathbf{x}_i e_i \right)'$ .

Bu heteroskedastisite tutarlı standart hatalar verir. Ayrıca Huber-White standart hataları, sağlam standart hatalar, "sandviç" tahmincisi, vb. Olarak da bilinir ... Herhangi bir temel standart istatistik paketi, sağlam standart hatalar için bir seçeneğe sahiptir. Kullanın!

Bazı ek yorumlar (güncelleme)

Heteroskedastisite yeterince büyükse, düzenli OLS tahmini büyük pratik problemlere sahip olabilir. Hala tutarlı bir tahminci olsa da, tüm tahmininizin birkaç yüksek sapma gözlemiyle yönlendirildiği küçük örnek problemleriniz olabilir. (@ Seanv507 yorumlarda bunu ifade etmektedir). OLS tahmincisi yüksek varyans gözlemlerine optimalden daha fazla ağırlık vermesi bakımından verimsizdir. Tahmin son derece gürültülü olabilir.

Verimsizliği gidermeye çalışırken bir sorun, muhtemelen hata terimleri için kovaryans matrisini bilmemenizdir, bu nedenle hata terimi kovaryans matrisi tahmininiz çöp ise, GLS gibi bir şey kullanmak işleri daha da kötüleştirebilir.

Ayrıca, yukarıda verdiğim Huber-White standart hatalarının küçük örneklerde büyük sorunları olabilir. Bu konuda uzun bir literatür var. Örneğin. bkz. Imbens ve Kolesar (2016), "Küçük Örneklerde Sağlam Standart Hatalar: Bazı Pratik Öneriler."

İleri çalışma yönergesi:

Bu kendi kendine çalışma ise, dikkate alınması gereken bir sonraki pratik şey kümelenmiş standart hatalardır. Bunlar kümeler içindeki keyfi korelasyon için doğrudur.

— Matthew Gunn
kaynak

Matthew - I think more practical problems would clarify point (1). eg wouldn't the estimator be 'biased' towards those regions with higher variance? - which would be a bigger problem if those regions were far from the mean causing high leverage.

— seanv507

@ seanv507 heteroskedasticity, OLS tahmininin yanlılığını ortaya koymaz. Sanırım bahsettiğiniz şey verimsizlik. Yüksek varyans gözlemleri ve düşük varyans gözlemlerini eşit olarak ağırlıklandırarak, OLS tahmincisi, ters varyans ağırlıklandırması gibi teorik olarak elde edilenden daha yüksek varyansa sahiptir . Tahminlerinizi kullanmak isteyip istemediğiniz

σ_{i}^{2}

$\sigma^2_i$ tahmin aşamasında (yani tahmin için)

b

$\mathbf{b}$ ) bildiğinize ne kadar inandığınıza bağlıdır

σ_{i}^{2}

$\sigma^2_i$ .

— Matthew Gunn

Matthew, önyargı getirmediğini biliyorum (terimden alıntılar için [özür dilerim ve OP] özür diliyorum :) Uygun terimi düşünemedim). Ama pratik sonuçları ortaya çıkarmaya çalışıyorum (ve OP'nin bunları anlamak istediğini öne sürüyorum) - ne zaman / neden noktası (1) önemli bir sorun değil. Etkisinin o zaman

b

$\mathbb b$ sezgisel olarak beklediğiniz / isteyebileceğinizden daha yüksek varyans bölgesine bağlıdır. (sezgisel düz çizgi uyumu, her bölgenin eşit ağırlığa sahip olması ve infact OLS'nin yüksek varyans bölgelerine daha fazla konsantre olması olacaktır).

— seanv507

@ seanv507 kendi yanıtınızı eklemekten çekinmeyin!

— Matthew Gunn

Heteroskedastisiteye dayanıklı standart hatalar kullanmak yerine (Ed Leamer'ın "Asymptopia'ya giden yolda Tantalus" adlı 2010 makalesinde Beyaz yıkama diyor ), heteroskedastisite için nokta tahminlerini (varyans tahmini ile birlikte) WLS. Bu, cevabınızda belirtmeye değer olabilir.

— Richard Hardy

Kısa cevap temelde modelinizin yanlış olması yani

En küçük kareler olması için de B est L linear U nbiased E stimator hata terimlerinin sabit varyans varsayılır.
Gauss-Markov varsayımları - eğer yerine getirilirse - katsayılar için en küçük kareler tahmincisinin size garanti eder $\beta$ yansızdır ve tüm yansız doğrusal tahmin ediciler arasında minimum bir varyansa sahiptir.

Bu nedenle, varyans-kovaryans matrisini tahmin etmede hetero-esneklik problemleri olması durumunda, katsayılarda yanlış standart hatalara yol açar, bu da yanlış t-istatistiklerine ve p-değerlerine yol açar. Kısaca ifade etmek gerekirse, hata terimlerinizde sürekli bir fark yoksa sıradan en küçük kareler tahmin için en etkili yol değildir. Bu ilgili soruya bir göz atın .

— davidski
kaynak

"Değişen varyans", tahmin hatalarının gerçek standart sapmasını tahmin etmeyi zorlaştırır. Bu, çok geniş veya çok dar güven aralıklarına yol açabilir (özellikle, hataların sapması zaman içinde artarsa, örnek dışı tahminler için çok dar olacaktır).

Ayrıca, regresyon modeli bir veri alt kümesine çok fazla odaklanabilir.

İyi referans: Doğrusal regresyon varsayımlarının test edilmesi

— oW_
kaynak