Kesinti dahil edildiğinde neden doğrusal regresyondaki artıklar her zaman sıfıra eşitlenir?

14

Regresyon modelleri üzerine bir ders alıyorum ve doğrusal regresyon için sağlanan özelliklerden biri, bir kesişim dahil edildiğinde artıkların her zaman sıfıra toplanmasıdır.

Birisi bunun neden böyle olduğuna dair iyi bir açıklama yapabilir mi?

regression residuals

— dts86
kaynak

3

Öncelikle, tek değişkenli bir örnekte, her bir değerden örnek ortalamasını çıkararak elde ettiğiniz kalıntıların da 0'a eşit olduğu ile yakından ilgili ama daha basit bir soruyu düşünmek isteyebilirsiniz. (Mümkünse cebiri takip etmeyi deneyin.)

— Glen_b - Monica

3

"Sıfıra toplama" ifadesinin, açıklayıcı değişkenlerden birine dik "anlamına geldiğini anladığınızda cevap geometrik olarak belirgin hale gelir.

— whuber

18

Bu doğrudan normal denklemlerden, yani OLS tahmincisinin çözdüğü denklemlerden,

X^{'} \underset{e}{\underset{⏟}{(y - X b)}} = 0

$\mathbf{X}^{\prime} \underbrace{\left( \mathbf{y} - \mathbf{X} \mathbf{b} \right)}_{\mathbf{e}} = 0$

Parantezlerin içindeki vektör, elbette, doğrusal cebirden hoşlanıyorsanız , artık vektör veya sütun boşluğunun dik tamamlayıcısına izdüşümüdür . Şimdi, matrisine, geleneksel olarak yapıldığı gibi ilk sütunda olmak zorunda olmayanların bir vektörünü dahil etmek, $\mathbf{y}$ $X$ $\mathbf{X}$

1^{'} e = 0 ⟹ \sum_{i = 1}^{n} e_{i} = 0

$\mathbf{1}^{\prime} \mathbf{e} = 0 \implies \sum_{i=1}^n e_i = 0$

İki değişkenli problemde, kare artıkların toplamını en aza indirgemek bizi

\sum_{i = 1}^{n} (y_{i} - a - b x_{i}) = 0

$\sum_{i=1}^n \left(y_i - a - b x_i \right) = 0$

yakalama ile ilgili türevi aldığımızda. Bundan sonra tanıdık tahmin ediciyi elde etmeye devam ediyoruz.

a = \bar{y} - b \bar{x}

$a = \bar{y} - b \bar{x}$

yine tahmin edicilerimizin inşasının bu koşulu getirdiğini görüyoruz.

— JohnK
kaynak

17

Oldukça sezgisel bir açıklama arıyorsanız.

$\bar{x}$ $x_1, x_2, \dots, x_n$ $u_i = x_i - \bar{x}$ ) ortalama değerin sağında, bu ortalamanın solundaki tüm sapmaların toplamına eşittir. Bu önlemin iyi olmasının doğal bir nedeni yoktur, bir örneklemin ortalamasını açıklamanın en iyi yolu olsa da, kesinlikle sezgisel ve pratiktir. Önemli olan, aritmetik ortalamanın bu şekilde tanımlanmasıyla, aritmetik ortalamayı oluşturduktan sonra, bu ortalamadaki tüm sapmaların tanım gereği sıfıra ulaşması gerektiği anlamına gelir!

Doğrusal regresyonda, bu farklı değildir. Bu hat uygun eden (regresyon doğrusu üzerindedir) monte değerleri ve olan gerçek değerleri arasındaki farklar her toplamı şekilde yukarıda hattı regresyon doğrusu arasındaki farklar her ve tüm değerlerinin toplamına tam olarak eşit olduğu , aşağıdaki hat. Yine, doğal bir neden yoktur, bunun neden bir uyum inşa etmenin en iyi yolu olduğu, ancak basit ve sezgisel olarak çekici. Tıpkı aritmetik ortalamada olduğu gibi: takılmış değerlerimizi bu şekilde yapılandırarak, mutlaka, bu çizgiden tüm sapmaların sıfıra toplanması gerekir, aksi takdirde bu sadece bir OLS rejimi olmaz.

— Manuel R
kaynak

2

Basit, basit ve sezgisel cevap için +1!

Harika bir açıklama, ama emin değilim, "Yine de, bunun bir uyum inşa etmenin en iyi yolu olmasının doğal bir nedeni yok, ama basit ve sezgisel olarak çekici." doğrudur. Gauss-Markov Teoremi tarafından OLS tahmincilerinin MAVİ olduğu iyi bilinmektedir: en iyi (minimum varyans) doğrusal tarafsız tahminler (varsayımların karşılandığı varsayılarak). Çoğunlukla çekici / makul olanla ilgili sezgisel "duygularımız" da burada olduğu gibi matematiksel olarak desteklenir.

— Meg

3

{\hat{y}}_{i} = β_{0} + β_{1} x_{i, 1} + β_{2} x_{i, 2} + \dots + β_{p} x_{i, p}

$\hat{y}_i = \beta_0 + \beta_1x_{i,1} + \beta_2x_{i,2} +…+ \beta_px_{i,p}$

S S E = \sum_{i = 1}^{n} {(e_{i})}^{2} = \sum_{i = 1}^{n} {(y_{i} - \hat{y_{i}})}^{2} = \sum_{i = 1}^{n} {(y_{i} - β_{0} - β_{1} x_{i, 1} - β_{2} x_{i, 2} - \dots - β_{p} x_{i, p})}^{2}

$SSE=\displaystyle\sum\limits_{i=1}^n \left(e_i \right)^2= \sum_{i=1}^n\left(y_i - \hat{y_i} \right)^2= \sum_{i=1}^n\left(y_i -\beta_0- \beta_1x_{i,1}-\beta_2x_{i,2}-…- \beta_px_{i,p} \right)^2$

β_{0}

$\beta_0$

\frac{\partial S S E}{\partial β_{0}} = \sum_{i = 1}^{n} 2 {(y_{i} - β_{0} - β_{1} x_{i, 1} - β_{2} x_{i, 2} - \dots - β_{p} x_{i, p})}^{1} (- 1) = - 2 \sum_{i = 1}^{n} e_{i} = 0

$\frac{\partial{SSE}}{\partial{\beta_0}} = \sum_{i=1}^n 2\left(y_i -\beta_0- \beta_1x_{i,1}-\beta_2x_{i,2}-…- \beta_px_{i,p} \right)^1 (-1) =-2\displaystyle\sum\limits_{i=1}^ne_i=0$ Bu nedenle, doğrusal regresyona bir kesişim dahil edildiğinde artıklar her zaman sıfıra toplanır.

— DavidCruise
kaynak

1

$1$ $X$

1 = X e,

$1 = Xe,$

e

$e$

1^{T} (y - \hat{y})

$1^T(y - \hat{y})$

Bu nedenle,

\begin{aligned} 1^{T} (y - \hat{y}) = 1^{T} (I - H) y \\ = & e^{T} X^{T} (I - X (X^{T} X)^{- 1} X^{T}) y \\ = & e^{T} (X^{T} - X^{T} X (X^{T} X)^{- 1} X^{T}) y \\ = & e^{T} (X^{T} - X^{T}) y \\ = & 0. \end{aligned}

$\begin{align} & 1^T(y - \hat{y}) = 1^T(I - H)y \\ = & e^TX^T(I - X(X^TX)^{-1}X^T)y \\ = & e^T(X^T - X^TX(X^TX)^{-1}X^T)y \\ = & e^T(X^T - X^T)y \\ = & 0. \end{align}$

— Zhanxiong
kaynak

0

Matris cebiri kullanarak basit bir türev:

$\sum e$ $1^Te$

Sonra

$1^Te = 1^T(M_x y)$ $M_x$ $M_x$ $(M_x1)^Ty$

$M_x$ $1$ $x$ $1$

— Mino
kaynak

Bunun doğru olduğunu düşünmüyorum.

— Michael R.Chickick

Nedenini açıklarsan o zaman bir şeyler öğrenmekten mutlu olurum

— Mino

0

$e_i = y_i - [1, X] [a, b] = y_i - Xb - a = v_i - a$
$\frac{d}{da} \sum e_i^2 \propto \sum e_i\cdot 1 = \sum v_i - a = 0$ $\hat{a} = \frac{1}{n}\sum v_i$
$\sum e_i = \sum_i v_i - a = \sum_i v_i - \frac{n}{n}\sum_i v_i = 0$

..

— Hunaphu
kaynak