Doğrusal regresyon: * Neden * karelerin toplamını bölebilirsiniz?

Bu yazı iki değişkenli bir doğrusal regresyon modelini, $Y_i = \beta_0 + \beta_1x_i$. Her zaman toplam kareler toplamının (SSTO) hata için kareler (SSE) ve iman üzerine model (SSR) için kareler toplamına bölünmesini aldım, ama gerçekten bir kez düşünmeye başladığımda, anlayamıyorum neden çalışıyor ...

Ben parçası do anlıyorum:

$y_i$: Gözlenen y değeri

$\bar{y}$: Gözlenenlerin ortalaması $y_i$s

$\hat{y}_i$: Verilen bir gözlem için x'in takılmış / tahmin edilen değeri

$y_i - \hat{y}_i$: Kalan / hata (tüm gözlemler için karesi alınmış ve eklenmişse, bu SSE'dir)

$\hat{y}_i - \bar{y}$: Modele takılan değerin ortalamadan ne kadar farklı olduğu (tüm gözlemler için karesi alınmış ve eklenmişse, bu SSR'dir)

$y_i - \bar{y}$: Bir gözlemlenen değerin ortalamadan ne kadar farklı olduğu (eğer tüm gözlemler için bilinir ve toplanırsa, bu SSTO'dur).

Neden tek bir gözlem için hiçbir şey karesi almadan anlayabiliyorum, $(y_i - \bar{y}) = (\hat{y}_i - \bar{y}) + (y_i - \hat{y}_i)$. Ve nedenini anlayabiliyorum, eğer tüm gözlemlere bir şeyler eklemek istiyorsanız, onları karelemek zorundasınız yoksa 0'a kadar ekleyecekler.

Anlamıyorum kısmı neden $(y_i - \bar{y})^2 = (\hat{y}_i - \bar{y})^2 + (y_i - \hat{y}_i)^2$(örneğin, SSTO = SSR + SSE). Görünüşe göre bir durumunuz varsa,$A = B + C$, sonra $A^2 = B^2 + 2BC + C^2$, değil $A^2 = B^2 + C^2$. Neden böyle değil?

Görünüşe göre bir durumunuz varsa, $A = B + C$, sonra $A^2 = B^2 + 2BC + C^2$, değil $A^2 = B^2 + C^2$. Neden böyle değil?

Kavramsal olarak, fikir şu ki $BC = 0$ Çünkü $B$ ve $C$ diktir (yani dikeydir).

---

Buradaki doğrusal regresyon bağlamında, artıklar $\epsilon_i = y_i - \hat{y}_i$ aşağılanmış tahminle dikey $\hat{y}_i - \bar{y}$. Doğrusal regresyondan tahmin, dikey bir ayrışma yaratır.$\mathbf{y}$ benzer anlamda $(3,4) = (3,0) + (0,4)$ dik bir ayrışmadır.

Doğrusal Cebir sürümü:

İzin Vermek:

$$\mathbf{z} = \begin{bmatrix} y_1 - \bar{y} \\ y_2 - \bar{y}\\ \ldots \\ y_n - \bar{y} \end{bmatrix} \quad \quad \mathbf{\hat{z}} = \begin{bmatrix} \hat{y}_1 - \bar{y} \\ \hat{y}_2 - \bar{y} \\ \ldots \\ \hat{y}_n - \bar{y} \end{bmatrix} \quad \quad \boldsymbol{\epsilon} = \begin{bmatrix} y_1 - \hat{y}_1 \\ y_2 - \hat{y}_2 \\ \ldots \\ y_n - \hat{y}_n \end{bmatrix} = \mathbf{z} - \hat{\mathbf{z}}$$

Doğrusal regresyon (sabit bir dahil) ayrışır $\mathbf{z}$ iki vektörün toplamına: bir tahmin $\hat{\mathbf{z}}$ ve artık $\boldsymbol{\epsilon}$

$$\mathbf{z} = \hat{\mathbf{z}} + \boldsymbol{\epsilon}$$

İzin Vermek $\langle .,. \rangle$nokta ürünü belirtir . (Daha genel olarak,$\langle X,Y \rangle$olabilir , iç çarpım $E[XY]$.)

$$\begin{align*} \langle \mathbf{z} , \mathbf{z} \rangle &= \langle \hat{\mathbf{z}} + \boldsymbol{\epsilon}, \hat{\mathbf{z}} + \boldsymbol{\epsilon} \rangle \\ &= \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + 2 \langle \hat{\mathbf{z}},\boldsymbol{\epsilon} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle \\ &= \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle \end{align*}$$

Son satırın $\langle \hat{\mathbf{z}},\boldsymbol{\epsilon} \rangle = 0$ (yani $\hat{\mathbf{z}}$ ve $\boldsymbol{\epsilon} = \mathbf{z}- \hat{\mathbf{z}}$dikeydir). Kanıtlayabilirsin$\hat{\mathbf{z}}$ ve $\boldsymbol{\epsilon}$ en küçük kareler regresyonunun nasıl kurulduğuna bağlı olarak diktir $\hat{\mathbf{z}}$.

$\hat{\mathbf{z}}$bir çizgisel çıkıntı arasında$\mathbf{z}$regresörlerin doğrusal açıklığı ile tanımlanan alt boşluk üzerine$\mathbf{x}_1$, $\mathbf{x}_2$, vb .... Kalan $\boldsymbol{\epsilon}$ dolayısıyla tüm alt uzaya diktir $\hat{\mathbf{z}}$ (bu, $\mathbf{x}_1$, $\mathbf{x}_2$, vb ...) dikey $\boldsymbol{\epsilon}$.

---

Tanımladığım gibi $\langle .,.\rangle$ nokta ürünü olarak, $\langle \mathbf{z} , \mathbf{z} \rangle = \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle$ sadece yazmanın başka bir yolu $\sum_i (y_i - \bar{y})^2 = \sum_i (\hat{y}_i - \bar{y})^2 + \sum_i (y_i - \hat{y}_i)^2$ (yani SSTO = SSR + SSE)

Bütün mesele, belirli vektörlerin dik olduğunu ve daha sonra Pisagor teoremini kullandığını göstermektedir.

Çok değişkenli doğrusal regresyonu ele alalım $Y = X\beta + \epsilon$. OLS tahmincisinin$\hat{\beta} = (X^tX)^{-1}X^tY$. Şimdi tahmini düşünün

$\hat{Y} = X\hat{\beta} = X(X^tX)^{-1}X^tY = HY$ (H matrisine "hat" matrisi de denir)

nerede $H$ Y'nin dikey bir projeksiyon matrisidir. $S(X)$. Şimdi elimizde

$Y - \hat{Y} = Y - HY = (I - H)Y$

nerede $(I-H)$ 'nin dikey tamamlayıcısına izdüşüm matrisidir. $S(X)$ hangisi $S^{\bot}(X)$. Böylece biliyoruz ki$Y-\hat{Y}$ ve $\hat{Y}$ dikeydir.

Şimdi bir alt modeli düşünün $Y = X_0\beta_0 + \epsilon$

nerede $X = [X_0 | X_1 ]$ ve benzer şekilde OLS tahmincimiz ve tahminimiz var $\hat{\beta_0}$ ve $\hat{Y_0}$ projeksiyon matrisi ile $H_0$ üstüne $S(X_0)$. Benzer şekilde$Y - \hat{Y_0}$ ve $\hat{Y_0}$dikeydir. Ve şimdi

$\hat{Y} - \hat{Y_0} = HY - H_0Y = HY - H_0HY = (I - H_0)HY$

yine nerede $(I-H_0)$ tamamlayıcı üzerinde dik bir projeksiyon matrisidir $S(X_0)$ hangisi $S^{\bot}(X_0)$. Bu nedenle,$\hat{Y} - \hat{Y_0}$ ve $\hat{Y_0}$. Sonunda elimizde

$||Y - \hat{Y}||^2 = ||Y||^2 - ||\hat{Y}||^2 = ||Y - \hat{Y_0}||^2 + ||\hat{Y_0}||^2 - ||\hat{Y} - \hat{Y_0}||^2 - ||\hat{Y_0}||^2$

and finally $||Y - \hat{Y_0}||^2 = ||Y - \hat{Y}||^2 + ||\hat{Y} - \hat{Y_0}||^2$

Lastly, the mean $\bar{Y}$ is simply the $\hat{Y_0}$ when considering the null model $Y = \beta_0 + e$.