Çoklu doğrusal regresyon için en küçük kareler nasıl hesaplanır?

Basit doğrusal regresyon durumunda $y=\beta_0+\beta_1x$ , en küçük kareler tahmincisini türetebilirsiniz , değerini tahmin için bilmek zorundaβ 0 β$\hat\beta_1=\frac{\sum(x_i-\bar x)(y_i-\bar y)}{\sum(x_i-\bar x)^2}$$\hat\beta_0$$\hat\beta_1$

olduğunu varsayalım , tahmin etmeden nasıl ? veya bu mümkün değil mi?β 1 β$y=\beta_1x_1+\beta_2x_2$$\hat\beta_1$$\hat\beta_2$

Matris notasyonunda türetme

başlamak üzere , gerçekten aynı olan$y= Xb +\epsilon$

$\begin{bmatrix} y_{1} \\ y_{2} \\ \vdots \\ y_{N} \end{bmatrix} = \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1K} \\ x_{21} & x_{22} & \cdots & x_{2K} \\ \vdots & \ddots & \ddots & \vdots \\ x_{N1} & x_{N2} & \cdots & x_{NK} \end{bmatrix} * \begin{bmatrix} b_{1} \\ b_{2} \\ \vdots \\ b_{K} \end{bmatrix} + \begin{bmatrix} \epsilon_{1} \\ \epsilon_{2} \\ \vdots \\ \epsilon_{N} \end{bmatrix}$

her şey küçültmek için geliyor :$e'e$

$\epsilon'\epsilon = \begin{bmatrix} e_{1} & e_{2} & \cdots & e_{N} \\ \end{bmatrix} \begin{bmatrix} e_{1} \\ e_{2} \\ \vdots \\ e_{N} \end{bmatrix} = \sum_{i=1}^{N}e_{i}^{2}$

Böylece küçültmek bize şunları veriyor:$e'e'$

$min_{b}$ $e'e = (y-Xb)'(y-Xb)$

, e ' e = y ' y - 2 b ' x ' , y + b ' x ' x $min_{b}$ $e'e = y'y - 2b'X'y + b'X'Xb$

$\frac{\partial(e'e)}{\partial b} = -2X'y + 2X'Xb \stackrel{!}{=} 0$

$X'Xb=X'y$

$b=(X'X)^{-1}X'y$

Son bir matematiksel şey, en azından ikinci dereceden koşul, X'X matrisinin $X'X$pozitif kesin olmasını gerektirir . Bu gereklilik X durumunda karşılanır$X$ tam derecesinde .

Daha büyük borçlardaki tüm adımları izleyen daha doğru türetme http://economictheoryblog.com/2015/02/19/ols_estimator/ adresinde bulunabilir.

Diğerlerini tahmin etmeksizin çoklu regresyonda sadece bir katsayı tahmin etmek mümkündür.

Tahmini etkisini ortadan kaldırarak elde edilir diğer değişkenlerden daha sonra artıklarını gerileme artıkları karşı . Bu açıklanır ve gösterilmektedir Biri diğer değişkenler için tam olarak nasıl kontrol eder? ve (a) regresyon katsayısı nasıl normalleştirilir?$\beta_1$$x_2$$y$$x_1$. Bu yaklaşımın güzelliği, herhangi bir hesap gerektirmemesi, doğrusal cebir olmaması, sadece iki boyutlu geometri kullanılarak görselleştirilebilmesi, sayısal olarak stabil olması ve çoklu regresyonun sadece bir temel fikrinden faydalanması: almak (veya "kontrol etmek"). Tek bir değişkenin etkileri.

---

Mevcut durumda , çoklu regresyon, üç normal regresyon basamağı kullanılarak yapılabilir:

1. Regresse üzerinde (sabit terim olmadan!). Uygun olan . Tahmin: Bu nedenle artıklar Geometrik olarak, , üzerine çıkıntısının çıkarılmasından sonra geriye kalan şeydir .$y$$x_2$$y = \alpha_{y,2}x_2 + \delta$

   $$\alpha_{y,2} = \frac{\sum_i y_i x_{2i}}{\sum_i x_{2i}^2}.$$ $$\delta = y - \alpha_{y,2}x_2.$$ $\delta$$y$$x_2$

2. Regresse üzerinde (sabit bir dönem olmadan). Uygun . Tahmin:ArtıklarGeometrik olarak, , üzerine çıkıntısının çıkarılmasından sonra geriye .$x_1$$x_2$$x_1 = \alpha_{1,2}x_2 + \gamma$

   $$\alpha_{1,2} = \frac{\sum_i x_{1i} x_{2i}}{\sum_i x_{2i}^2}.$$ $$\gamma = x_1 - \alpha_{1,2}x_2.$$ $\gamma$$x_1$$x_2$

3. üzerinde değerine geri dönün (sabit bir terim olmadan). Tahmin,Uygunluk . Geometrik olarak, bileşenidir temsil eder ( ile içinde alınmıştır) temsil eder (yönü ile çıkarıldı).$\delta$$\gamma$

   $$\hat\beta_1 = \frac{\sum_i \delta_i \gamma_i}{\sum_i \gamma_i^2}.$$ $\delta = \hat\beta_1 \gamma + \varepsilon$$\hat\beta_1$$\delta$$y$$x_2$$\gamma$$x_1$$x_2$

tahmin edilmediğine dikkat edin . $\beta_2$ Kolayca şimdiye kadar (tıpkı elde edilmiştir ne kurtarılabilir sıradan regresyon durumunda kolaylıkla eğri tahmini elde edilir ). iki değişkenli regresyon için artıklar olan ile ilgili ve$\hat\beta_0$$\hat\beta_1$$\varepsilon$$y$$x_1$$x_2$ .

Sıradan regresyon ile paralel kuvvetli: adımlar (1) ve (2), normal formülde araçları çıkarma analogudur. İzin verirsen$x_2$ bir vektör verirseniz, aslında normal formülü kurtaracaksınız.

: İkiden fazla değişkenlerle regresyon açıkça şekilde bu genelleştirir tahmin etmek , geri kalış ve sonra birbirlerine karşı artıklarını gerileme, diğer tüm değişkenler karşı ayrı ayrı. Bu noktada , çoklu regresyonundaki diğer katsayıların hiçbiri henüz tahmin edilmemiştir.$\hat\beta_1$$y$$x_1$$y$

Sıradan en küçük kareler tahmini cevap değişkeninin doğrusal bir fonksiyonudur$\beta$ . Basitçe, en küçük kareler, katsayıların tahmin 'nin, sadece bağımlı değişken kullanılarak yazılabilir ( Y i ' ler) ve bağımsız değişkenler ( X k i 'ler).$\beta$$Y_i$$X_{ki}$

Genel bir regresyon modeli için bu gerçeği açıklamak için biraz doğrusal bir cebir anlamanız gerekir. Eğer katsayıları tahmin etmek istiyorum varsayalım bir çoklu regresyon modelinde,$(\beta_0, \beta_1, ...,\beta_k)$

$$Y_i = \beta_0+\beta_1X_{1i}+...+\beta_kX_{ki}+\epsilon_i$$

burada için i = 1 , . . . , n . Tasarım matris X, a, n, x k matris, her sütun içerir burada n, gözlemlerini k t h bağımlı değişken X- k . Birçok açıklamalar ve türevlerini bulabilirsiniz Burada formül tahmini katsayıları hesaplamak için kullanılan β$\epsilon_i \overset{iid}{\sim} N(0,\sigma^2)$$i=1,...,n$$\mathbf{X}$$n\times k$$n$$k^{th}$$X_k$ , olan$\boldsymbol{\hat{\beta}}=(\hat{\beta}_0, \hat{\beta}_1, ..., \hat{\beta}_k)$

$$\boldsymbol{\hat{\beta}}=(\mathbf{X}^\prime \mathbf{X})^{-1}\mathbf{X}^\prime \mathbf{Y}$$

ters varsayarak bulunmaktadır. Tahmini katsayılar, diğer tahmini katsayıların değil, verilerin işlevleridir.$(\mathbf{X}^\prime \mathbf{X})^{-1}$

Teoriye ve pratiğe ilişkin küçük bir küçük not. Matematiksel olarak aşağıdaki formülle hesaplanabilir:$\beta_0, \beta_1, \beta_2 ... \beta_n$

$$\hat{\beta} = (X'X)^{-1} X'Y$$

nerede orijinal giriş veri ve Y biz tahmin etmek istedikleri değişkendir. Bu, hatayı minimize etmekten kaynaklanır. Küçük bir pratik noktaya değinmeden önce bunu ispatlayacağım.$X$$Y$

Let lineer regresyon noktasında yapar hata olabilir i . Sonra:$e_i$$i$

$$e_i = y_i - \hat{y_i}$$

Şimdi yaptığımız toplam kare hatası:

$$\sum_{i=1}^n e_i^2 = \sum_{i=1}^n (y_i - \hat{y_i})^2$$

Doğrusal bir modele sahip olduğumuz için şunu biliyoruz:

$$\hat{y_i} = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + ... + \beta_n x_{n,i}$$

Matris notasyonunda şöyle yazılabilir:

$$\hat{Y} = X\beta$$

Biz biliyoruz ki

$$\sum_{i=1}^n e_i^2 = E'E$$

Aşağıdaki ifadenin olabildiğince küçük olması için toplam kare hatasını minimize etmek istiyoruz.

$$E'E = (Y-\hat{Y})' (Y-\hat{Y})$$

Bu eşittir:

$$E'E = (Y-X\beta)' (Y-X\beta)$$

The rewriting might seem confusing but it follows from linear algebra. Notice that the matrices behave similar to variables when we are multiplying them in some regards.

We want to find the values of $\beta$ such that this expression is as small as possible. We will need to differentiate and set the derivative equal to zero. We use the chain rule here.

$$\frac{dE'E}{d\beta} = - 2 X'Y + 2 X'X\beta = 0$$

This gives:

$$X'X\beta = X'Y$$

Such that finally:

$$\beta = (X'X)^{-1} X'Y$$

So mathematically we seem to have found a solution. There is one problem though, and that is that $(X'X)^{-1}$ is very hard to calculate if the matrix $X$ is very very large. This might give numerical accuracy issues. Another way to find the optimal values for $\beta$ in this situation is to use a gradient descent type of method. The function that we want to optimize is unbounded and convex so we would also use a gradient method in practice if need be.

A simple derivation can be done just by using the geometric interpretation of LR.

Linear regression can be interpreted as the projection of $Y$ onto the column space $X$. Thus, the error, $\hat{\epsilon}$ is orthogonal to the column space of $X$.

Therefore, the inner product between $X'$ and the error must be 0, i.e.,

$<X', y-X\hat{\beta}> = 0$

$X'y - X'X\hat{\beta} = 0$

$X'y = X'X\hat{\beta}$

Which implies that,

$(X'X)^{-1}X'y = \hat{\beta}$.

Now the same can be done by:

(1) Projecting $Y$ onto $X_2$ (error $\delta = Y-X_2 \hat{D}$), $\hat{D} = (X_2'X_2)^{-1}X_2'y$,

(2) Projecting $X_1$ onto $X_2$ (error $\gamma = X_1 - X_2 \hat{G}$), $\hat{G} = (X_1'X_1)^{-1}X_1X_2$,

and finally,

(3) Projecting $\delta$ onto $\gamma$, $\hat{\beta}_1$