OLS kullanarak artıklardaki hatalar azaltılırken eğim neden her zaman tam olarak 1'dir?

10

R'deki bazı basit simülasyonları kullanarak hatalar ve artıklar arasındaki ilişkiyi deniyordum. Bulduğum bir şey, örnek boyutuna veya hata varyansına bakılmaksızın , modele uyduğunuzda eğim için her zaman tam olarak elde ediyorum. $1$

e r r o r s \sim β_{0} + β_{1} \times r e s i d u a l s

${\rm errors} \sim \beta_0 + \beta_1 \times {\rm residuals}$

İşte yaptığım simülasyon:

n <- 10 
s <- 2.7 

x <- rnorm(n) 
e <- rnorm(n,sd=s)
y <- 0.3 + 1.2*x + e

model <- lm(y ~ x) 
r <- model$res 

summary( lm(e ~ r) )

eve rküçük örnekler için bile yüksek (ancak mükemmel değil) korelasyonludur, ancak bunun neden otomatik olarak gerçekleştiğini anlayamıyorum. Matematiksel veya geometrik bir açıklama takdir edilecektir.

regression least-squares residuals

— GoF_Logistic
kaynak

5

OXY düzlem üçgeninde, OX tabanı ile, YO ve XY kenarlarının rakımları üçgenin kendisinin rakımıdır. Amacıyla, bu rakımlar katsayıları tarafından verilir lm(y~r), lm(e~r)ve lm(r~r)bu nedenle tüm eşit olmalıdır. İkincisi açıkça . Görmek için bu komutların üçünü de deneyin. Son bir iş yapmak için size bir kopyasını oluşturmak zorunda gibi . Regresyonun geometrik diyagramları hakkında daha fazla bilgi için bkz. Stats.stackexchange.com/a/113207 .

1

$1$ Rrs<-r;lm(r~s)

— whuber

1

Teşekkürler @whuber. Cevabı kabul edebilmem için bir cevaptan daha fazlasını mı yapmak istersiniz, ya da belki bunu bir kopya olarak işaretlemek ister misiniz?

— GoF_Logistic

1

Bunun bir kopya olduğunu sanmıyorum, bu yüzden yorumu bir cevaba genişlettim.

— whuber

11

whuber'ın cevabı harika! (+1) Sorunu bana en çok tanıyan notasyonu kullanarak çözdüm ve (daha az ilginç, daha rutin) türetmenin buraya dahil edilmeye değer olabileceğini düşündüm.

Let , regresyon modeli için ve gürültü. Daha sonra, sütunlarına karşı regresyonunun normal denklemleri tahminlerBu nedenle regresyon artıkları yer alır için . $y = X \beta^* + \epsilon$ $X \in \mathbb{R}^{n \times p}$ $\epsilon$ $y$ $X$ $X^T\left(y - X \hat\beta\right) = 0,$

\hat{β} = {(X^{T} X)}^{- 1} X^{T} y .

$\hat\beta = \left(X^T X \right)^{-1} X^T y.$

r = y - X \hat{β} = (I - H) y = (I - H) ϵ,

$r = y - X \hat\beta = \left( I - H \right) y = \left( I - H \right) \epsilon,$

H = X (X^{T} X)^{- 1} X^{T}

$H = X (X^T X)^{-1} X^T$

Gerileme ile tarafından verilen bir tahmini eğim sonuçları çünkü simetrik ve idempotent ve neredeyse kesinlikle. $\epsilon$ $r$

\begin{aligned} (r^{T} r)^{- 1} r^{T} ϵ & = {({[(I - H) ϵ]}^{T} [(I - H) ϵ])}^{- 1} {[(I - H) ϵ]}^{T} ϵ \\ = \frac{ϵ^{T} {(I - H)}^{T} ϵ}{ϵ^{T} {(I - H)}^{T} (I - H) ϵ} \\ = \frac{ϵ^{T} (I - H) ϵ}{ϵ^{T} (I - H) ϵ} \\ = 1, \end{aligned}

$\begin{align*} (r^T r)^{-1} r^T \epsilon & = \left( \left[ \left(I - H\right) \epsilon \right]^T \left[ \left(I - H\right) \epsilon \right] \right)^{-1} \left[ \left(I - H\right) \epsilon \right]^T \epsilon \\ & = \frac{\epsilon^T \left( I - H \right)^T \epsilon}{\epsilon^T \left( I - H \right)^T \left( I - H \right) \epsilon} \\ & = \frac{\epsilon^T \left( I - H \right) \epsilon}{\epsilon^T \left( I - H \right) \epsilon} \\ & = 1, \end{align*}$

I - H

$I-H$

ϵ \notin i m (X)

$\epsilon \not\in \mathrm{im}(X)$

Ayrıca, bu argüman, eş değişkenler dikey olduğundan (yani , normal denklemlerden) bir kesişim orijinal regresyona dahil edilirse, artıklar üzerindeki hataların gerilemesini gerçekleştirdiğimizde bir kesişme eklediğimizde de geçerlidir. ). $1^T r = 0$

— user795305
kaynak

+1 Bir çözümün dikkatli ve net bir şekilde çalıştığını görmek her zaman güzeldir.

— whuber

11

Herhangi bir kavramsal (veya pratik) genellik kaybı olmadan, önce sabiti "Tam değişkenler nasıl kontrol edilir" bölümünde açıklandığı gibi değişkenlerden kaldırın . Let , geri çekici olabilir hata, , yanıt en küçük kareler tahmin ve artıkları. Tüm bu vektörler aynı düzlemde yer alır ve resimlerini çizmemize izin verir. Durum şu şekilde yapılabilir, burada başlangıç noktasını belirler: $x$ $e$ $Y=\beta x + e$ $b$ $\beta$ $r = Y - bx$ $O$

Bu resim ile başlayıp üretmek için hatasını ekleyerek oluşturulmuştur . İrtifa daha sonra tabana düştü ve en küçük kareler tahmini karşılandı . Yükseklik, artık vektörüdür ve bu nedenle olarak etiketlenmiştir . $\beta x$ $e$ $Y$ $bx$ $Y-bx$ $r$

Üçgenin tabanı regresör vektörüne paraleldir . ve taraflarının rakımları üçgenin kendisinin rakımıdır. Tanım olarak, tortusal tabana diktir: bu nedenle, tabana uzak mesafeler üzerine çıkıntı ile bulunabilir . Böylece üçgenin yüksekliği üç yoldan herhangi birine bulunabilir: gerileme karşı (yüksekliğini bulmak ); gerileme karşı (yüksekliğine bulma ) veya gerileme karşı (yüksekliğini bulmak $x$ $OY$ $(\beta x)Y$ $r$ $r$ $Y$ $r$ $Y$ $e$ $r$ $e$ $r$ $r$ $r$ ). Üç değerin hepsi eşit olmalıdır (bu regresyonları çalıştırarak kontrol edebileceğiniz gibi). İkincisi açıkça , QED'dir . $1$

Cebiri tercih edenler için bu geometrik analizi zarif bir cebirsel gösteriye dönüştürebiliriz. Bunun gözlemleyin , ve tüm uyumlu modülo tarafından üretilen bölme odası olan . Bu nedenle, herhangi bir boşluk ortogonal içine eşit çıkıntıları olmalıdır örneğin tarafından oluşturulan bir şekilde, projeksiyonu, katsayısı , QED . (İstatistiksel olarak, her üç ifadede de bileşenini "çıkarırız" ve her durumda bırakırız.) $r$ $e=r+(\beta-b)x$ $Y=e+\beta x = r + (2\beta-b)x$ $x$ $x$ $r$ $r$ $1$ $x$ $r$

— whuber
kaynak