Doğrusal regresyon katsayı tahminlerine analitik çözüm

Matris notasyonunu anlamaya çalışıyorum ve vektörler ve matrislerle çalışıyorum.

Şu anda çoklu regresyonda katsayı tahmin vektörünün nasıl hesaplandığını anlamak istiyorum .$\hat{\beta}$

Temel denklem

$$\frac{d}{d\boldsymbol{\beta}} (\boldsymbol{y}-\boldsymbol{X\beta})'(\boldsymbol{y}-\boldsymbol{X\beta}) = 0 \>.$$

Şimdi burada bir vektör \ beta için nasıl çözerim$\beta$ ?

Düzenleme : Bekleyin, sıkıştım. Şimdi buradayım ve nasıl devam edeceğimi bilmiyorum:

$\frac{d}{d{\beta}} \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right) ' \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right)$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \begin{pmatrix} 1 & x_{i1} & x_{i2} & \dots & x_{ip} \end{pmatrix} \begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{pmatrix} \right)^2$

İle için tüm kesişme söz konusu olur:$x_{i0} = 1$$i$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \sum_{k=0}^p x_{ik} \beta_k \right)^2$

Beni doğru yöne yönlendirebilir misin?

Sahibiz

$\frac{d}{d\beta} (y - X \beta)' (y - X\beta) = -2 X' (y - X \beta)$ .

Denklemin bileşenlerle açıkça yazılmasıyla gösterilebilir. Örneğin, yerine . Sonra , , ..., ile ilgili türevleri alın ve cevabı almak için her şeyi istifleyin. Hızlı ve kolay bir örnek için ile başlayabilirsiniz .$(\beta_{1}, \ldots, \beta_{p})'$$\beta$$\beta_{1}$$\beta_{2}$$\beta_{p}$$p = 2$

Tecrübe ile kişi, bazıları bu belgede verilen genel kurallar geliştirir .

Sorunun eklenen kısmı için rehberlik etmek üzere düzenleyin

İle Elimizdeki$p = 2$

$(y - X \beta)'(y - X \beta) = (y_1 - x_{11} \beta_1 - x_{12} \beta_2)^2 + (y_2 - x_{21}\beta_1 - x_{22} \beta_2)^2$

Kapsamında türev olan$\beta_1$

$-2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

Benzer şekilde, göre türevi olan$\beta_2$

$-2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

Bu nedenle, ilgili türev ile olduğu$\beta = (\beta_1, \beta_2)'$

$\left( \begin{array}{c} -2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \\ -2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \end{array} \right)$

Şimdi, son ifadeyi şu şekilde yeniden yazabileceğinizi gözlemleyin:

$-2\left( \begin{array}{cc} x_{11} & x_{21} \\ x_{12} & x_{22} \end{array} \right)\left( \begin{array}{c} y_{1} - x_{11}\beta_{1} - x_{12}\beta_2 \\ y_{2} - x_{21}\beta_{1} - x_{22}\beta_2 \end{array} \right) = -2 X' (y - X \beta)$

Tabii ki, her şey daha büyük bir için aynı şekilde yapılır .$p$

Matrix yemek kitabındaki formülleri de kullanabilirsiniz . Sahibiz

$$(y-X\beta)'(y-X\beta)=y'y-\beta'X'y-y'X\beta+\beta'X'X\beta$$

Şimdi her terimin türevlerini alın. olduğunu fark etmek isteyebilirsiniz . açısından teriminin türevi sıfırdır. Kalan terim$\beta'X'y=y'X\beta$$y'y$$\beta$

$$\beta'X'X\beta-2y'X\beta$$

işlev biçimindedir

$$f(x)=x'Ax+b'x,$$

sayfa 11'deki kitapta formül (88) 'de, , ve . Türev formül (89) 'da verilmektedir:$x=\beta$$A=X'X$$b=-2X'y$

$$\frac{\partial f}{\partial x}=(A+A')x+b$$

yani

$$\frac{\partial}{\partial \beta}(y-X\beta)'(y-X\beta)=(X'X+(X'X)')\beta-2X'y$$

Şimdi beri istenen çözümü alıyoruz:$(X'X)'=X'X$

$$X'X\beta=X'y$$

İşte aslında daha genel ortamlara uygulamaları olan ve yararlı bulduğum regresyondaki karelerin toplamını en aza indirmek için bir teknik.

Vektör matris hesabından tamamen kaçınmaya çalışalım.

Diyelim ki burada , ve . Sadelik için ve olduğunu varsayıyoruz .

$$\newcommand{\err}{\mathcal{E}}\newcommand{\my}{\mathbf{y}}\newcommand{\mX}{\mathbf{X}}\newcommand{\bhat}{\hat{\beta}}\newcommand{\reals}{\mathbb{R}} \err = (\my - \mX \beta)^T (\my - \mX \beta) = \|\my - \mX \beta\|_2^2 \> ,$$ $\my \in \reals^n$$\mX \in \reals^{n\times p}$$\beta \in \reals^p$$p \leq n$$\mathrm{rank}(\mX) = p$

Herhangi bir için $\bhat \in \reals^p$

$$\err = \|\my - \mX \bhat + \mX \bhat - \mX \beta\|_2^2 = \|\my - \mX \bhat\|_2^2 + \|\mX(\beta-\bhat)\|_2^2 - 2(\beta - \bhat)^T \mX^T (\my - \mX \bhat) \>.$$

Biz Eğer seçim (bulun!) Bir vektör sağ taraftaki son dönem için sıfır olacak şekilde her o ima olacağından, o zaman biz, bitmiş olacaktır .$\bhat$ $\beta$$\min_\beta \err \geq \|\my - \mX \bhat\|_2^2$

Ancak, tüm için ve yalnızca ve bu son denklem yalnızca ise doğrudur . Böylece alınarak simge küçültülür .$(\beta - \bhat)^T \mX^T (\my - \mX \bhat) = 0$$\beta$$\mX^T (\my - \mX \bhat) = 0$$\mX^T \mX \bhat = \mX^T \my$$\err$$\bhat = (\mX^T \mX)^{-1} \mX^T \my$

---

Bu, hesabı önlemek için bir "hile" gibi görünse de, aslında daha geniş bir uygulamaya sahiptir ve oyunda bazı ilginç geometriler vardır.

Bu tekniğin bir türevi herhangi bir matris-vektör hesabı yaklaşımından çok daha basitleştirdiği bir örnek , matris durumunu genelleştirdiğimiz zamandır. Let , ve . parametrelerini tüm matris üzerinde en aza indirmek istediğimizi varsayalım . Burada bir kovaryans matrisidir.$\newcommand{\mY}{\mathbf{Y}}\newcommand{\mB}{\mathbf{B}}\mY \in \reals^{n \times p}$$\mX \in \reals^{n \times q}$$\mB \in \reals^{q \times p}$

$$\err = \mathrm{tr}( (\mY - \mX \mB) \Sigma^{-1} (\mY - \mX \mB)^T )$$ $\mB$$\Sigma$

Yukarıdakilere tamamen benzer bir yaklaşım, alarak minimum ulaşıldığını hızlı bir şekilde belirler Yani, yanıtın kovaryans ile bir vektör olduğu ve gözlemlerin bağımsız olduğu bir regresyon ortamında, yanıtın bileşenleri üzerinde ayrı lineer regresyonlar yapılarak OLS tahmini elde edilir .$\err$

$$\hat{\mB} = (\mX^T \mX)^{-1} \mX^T \mY \>.$$ $\Sigma$$p$

Anlamanıza yardımcı olabilecek bir yol, matris cebirini kullanmamak ve her bir bileşene her saygıyla farklılaşmak ve ardından sonuçları bir sütun vektöründe "saklamak" tır. Böylece sahibiz:

$$\frac{\partial}{\partial \beta_{k}}\sum_{i=1}^{N}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{2}=0$$

Şimdi sahip bu denklemlerin, her beta için birinin. Bu, zincir kuralının basit bir uygulamasıdır:$p$

$$\sum_{i=1}^{N}2\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{1}\left(\frac{\partial}{\partial \beta_{k}}\left[Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right]\right)=0$$ $$-2\sum_{i=1}^{N}X_{ik}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)=0$$

Artık köşeli parantez içindeki toplamı Böylece:$\sum_{j=1}^{p}X_{ij}\beta_{j}=\bf{x}_{i}^{T}\boldsymbol{\beta}$

$$\sum_{i=1}^{N}X_{ik}Y_{i}-\sum_{i=1}^{N}X_{ik}\bf{x}_{i}^{T}\boldsymbol{\beta}=0$$

Şimdi bu denklemlerden var ve bunları bir sütun vektöründe "yığınlayacağız". Uyarı nasıl bağlıdır tek terimdir biz vektör içine bu yığını, böylece ve elde ederiz:$p$$X_{ik}$$k$$\bf{x}_{i}$

$$\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\boldsymbol{\beta}$$

Şimdi betayı toplamın dışına çıkarabiliriz (ancak toplamın RHS'sinde kalmalıyız) ve sonra tersine çeviririz:

$$\left(\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\right)^{-1}\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\boldsymbol{\beta}$$