Normalite testi yapılırken artıkların korelasyonu neden önemli değildir?

Zaman (yani, $Y = AX + \varepsilon$ $Y$ doğrusal regresyon modelinden gelir),

ε \sim N (0, σ^{2} I) \Rightarrow \hat{e} = (I - H) Y \sim N (0, (I - H) σ_{}^{2})

$\varepsilon \sim \mathcal{N}(0, \sigma^2 I) \hspace{1em} \Rightarrow \hspace{1em} \hat{e} = (I - H) Y \sim \mathcal{N}(0, (I - H) \sigma^2_{})$ ve bu durumda artıklar

{\hat{e}}_{1}, \dots, {\hat{e}}_{n}

$\hat{e}_1, \ldots, \hat{e}_n$ birbiriyle ilişkilidir ve bağımsız değildir. Ancak regresyon teşhisi yaptığımızda ve varsayımı test etmek istediğimizde

ε \sim N (0, σ^{2} I)

$\varepsilon \sim \mathcal{N}(0, \sigma^2 I)$ , her ders kitabı kalanlar üzerinde Q – Q grafikleri ve istatistiksel testler kullanılmasını önerir

\hat{e}

$\hat{e}$ olup olmadığını test etmek için tasarlanmış

\hat{e} \sim N (0, σ^{2} I)

$\hat{e} \sim \mathcal{N}(0, \sigma^2 I)$ bazı

σ^{2} \in R

$\sigma^2 \in \mathbb{R}$ .

Bu testler için artıkların bağımsız ve birbiriyle ilişkili olmasının önemi yok mu? Genellikle standart artıkların kullanılması önerilir:

{\hat{e}}_{ben}^{'} = \frac{{\hat{e}}_{ben}}{\sqrt{1 - h_{ben ben}}},

$\hat{e}_i' = \frac{\hat{e}_i}{\sqrt{1 - h_{ii}}},$ ama bu onları sadece eşcinsel değil, bağımsız yapar.

Soruyu yeniden ifade etmek için: OLS regresyonundaki artıklar birbiriyle ilişkilidir. Uygulamada, bu korelasyonların çok küçük (çoğu zaman? Her zaman?), Artıkların normal dağılımdan gelip gelmediğini test ederken göz ardı edilebileceğini anlıyorum. Sorum şu, neden?

regression residuals non-independent

— Zoran Loncarevic
kaynak

Makes them homoscedastic.

— Scortchi - Reinstate Monica

Kalıntıların güçlü korelasyonları olduğunda bu testlerin uygulanabilirliğini mi soruyorsunuz, yoksa sadece en küçük kareler tahmin prosedüründen kaynaklanan (çok hafif ve sonuçsuz) negatif korelasyon hakkında mı endişeleniyorsunuz?

— whuber

@whuber En küçük kareler tahmin prosedüründen kaynaklanan korelasyon hakkında sorular soruyorum. Eğer hafif ve önemsiz iseler, nedenini bilmek istiyorum.

— Zoran Loncarevic

Gösterimlerinde, $H$ projeksiyon ve sütun alanı $X$ , yani alt boşluk tüm regresörlerin kapsamına girer. bu nedenle $M:=I_{n}-H$ tüm regresörlerin kapsadığı altuzayla dikey olan her şeyin izdüşümüdür.

Eğer $X\in\mathbb{R}^{n\times k}$ , sonra $\hat{e}\in\mathbb{R}^{n}$ tekil normal dağılmıştır ve belirttiğiniz gibi öğeler birbiriyle ilişkilidir.

Hatalar $\varepsilon$ gözlemlenemez ve genel olarak $X$ . Tartışma uğruna, hatanın $\varepsilon\perp\operatorname{span}\left(X\right)$ . Eğer bu doğru olsaydı, $y=X\beta+\varepsilon=\tilde{y}+\varepsilon$ ile $\tilde{y}\perp\varepsilon$ . Dan beri $\tilde{y}=X\beta\in\operatorname{span}\left(X\right)$ , ayrışabiliriz $y$ ve gerçek olsun $\varepsilon$ .

Bir temelimiz olduğunu varsayın $b_{1},\ldots,b_{n}$ nın-nin $\mathbb{R}^{n}$ , ilk $b_{1},\ldots,b_{k}$ temel vektör altuzay $\operatorname{span}\left(X\right)$ ve kalan $b_{k+1},\ldots,b_{n}$ karış $\operatorname{span}\left(X\right)^{\perp}$ . Genel olarak, hata $\varepsilon=\alpha_{1}b_{1}+\ldots+\alpha_{n}b_{n}$ sıfır olmayan bileşenlere sahip olacak $\alpha_{i}$ için $i\in\left\{1,\ldots,k\right\}$ . Sıfır olmayan bu bileşenler, $X\beta$ ve bu nedenle projeksiyon ile geri kazanılamaz $\operatorname{span}\left(X\right)$ .

Asla gerçek hataları düzeltmeyi umamadığımız için $\varepsilon$ ve $\hat{e}$ ilişkili tekil $n$ boyutlu normal, dönüştürebiliriz $\hat{e}\in\mathbb{R}^{n}\mapsto e^{*}\in\mathbb{R}^{n-k}$ . Orada buna sahip olabiliriz

e^{*} ~ {N-}_{n - k} (0, σ^{2} {ben}_{n - k}),

$\begin{equation} e^{*}\sim\mathcal{N}_{n-k}\left(0,\sigma^{2}I_{n-k}\right) \textrm{,} \end{equation}$ yani

e^{*}

$e^{*}$ tekil ilişkisiz ve homoscedastik normal dağılıma sahiptir. Kalanlar

e^{*}

$e^{*}$ Theil'in BLUS kalıntıları olarak adlandırılır .

Normallik için Regresyon Bozukluklarının Test Edilmesi Hakkında kısa makalede OLS ve BLUS kalıntılarının bir karşılaştırmasını bulacaksınız. Test edilen Monte Carlo ayarında OLS kalıntıları BLUS kalıntılarına göre üstündür. Ancak bu size bir başlangıç noktası vermelidir.

— Marco Breitig
kaynak