Basit doğrusal regresyonda, artıkların varyans formülü nereden geliyor?

Kullandığım bir metne göre, kalıntısının varyans formülü şu şekilde verilir: $i^{th}$

$\sigma^2\left ( 1-\frac{1}{n}-\frac{(x_{i}-\overline{x})^2}{S_{xx}} \right )$

kalıntı gözlenen değer ile takılan değer arasındaki fark olduğundan inanmak zor buluyorum ; biri farkın varyansını hesaplayacak olsaydı, en azından ortaya çıkan ifadede bazı "artılar" beklerdim. Türetmenin anlaşılmasında herhangi bir yardım takdir edilecektir. $i^{th}$ $i^{th}$ $i^{th}$

regression variance residuals

— Eric
kaynak

Metindeki bazı " " işaretlerinin " " işaretleri olarak yanlış oluşturulması (veya yanlış okunması) mümkün müdür ?

+

$+$

-

$-$

— whuber

Bunu düşünmüştüm, ancak metinde iki kez oldu (2 farklı bölüm), bu yüzden olası olmadığını düşündüm. Tabii ki, formülün türetilmesi yardımcı olacaktır! :)

— Eric

Negatifler, bir gözlem ile onun takılmış değeri arasındaki pozitif ilişkinin bir sonucudur ve bu da farkın varyansını azaltır.

— Glen_b -Reinstate Monica

@Glen Aşağıdaki matris türetmenizle birlikte formülün neden mantıklı olduğunu açıkladığınız için teşekkür ederiz.

— Eric

Varyansla ilgili "artı" işaretleriyle ilgili sezgi (bağımsız rastgele değişkenlerin farkının varyansını hesaplasak bile, varyanslarını eklediğimizden) doğrudur ancak ölümcül olarak eksiktir: ilgili rastgele değişkenler bağımsız değilse , daha sonra kovaryanslar da söz konusudur - ve kovaryanslar negatif olabilir. Orada bir deyim var neredeyse o (bana ve) OP tarafından olmak "gerektiğini" düşünüldü söz konusu ifadenin gibi ve öyle bir varyans tahmin hatası o göstermek, , burada : $e^0 = y^0 - \hat y^0$ $y^0 = \beta_0+\beta_1x^0+u^0$

Var (e^{0}) = σ^{2} \cdot (1 + \frac{1}{n} + \frac{(x^{0} - \bar{x})^{2}}{S_{x x}})

$\text{Var}(e^0) = \sigma^2\cdot \left(1 + \frac 1n + \frac {(x^0-\bar x)^2}{S_{xx}}\right)$

Öngörü hatasının varyans ve varyans arasındaki önemli bir fark kestirim hatası (kalıntı arasında), tahmin edilen gözlem hata terimi olduğunu tahmin ile bağlantısı olmayan ve değer için, edildi olup kullanılan tahmin edicinin oluşturulması ve tahminlerin hesaplanması, örnek dışı bir değer olması. $y^0$

Her ikisi için de cebir bir noktaya kadar aynı şekilde ilerler ( yerine kullanılarak ), ancak sonra ayrılır. özellikle: $^0$ $_i$

Basit doğrusal regresyonda , , tahmin edicinin varyansı hala $y_i = \beta_0 + \beta_1x_i + u_i$ $\text{Var}(u_i)=\sigma^2$ $\hat \beta = (\hat \beta_0, \hat \beta_1)'$

Var (\hat{β}) = σ^{2} {(X^{'} X)}^{- 1}

$\text{Var}(\hat \beta) = \sigma^2 \left(\mathbf X' \mathbf X\right)^{-1}$

Sahibiz

X^{'} X = [\begin{matrix} n & \sum x_{i} \\ \sum x_{i} & \sum x_{i}^{2} \end{matrix}]

$\mathbf X' \mathbf X= \left[ \begin{matrix} n & \sum x_i\\ \sum x_i & \sum x_i^2 \end{matrix}\right]$

ve bu yüzden

{(X^{'} X)}^{- 1} = [\begin{matrix} \sum x_{i}^{2} & - \sum x_{i} \\ - \sum x_{i} & n \end{matrix}] \cdot {[n \sum x_{i}^{2} - {(\sum x_{i})}^{2}]}^{- 1}

$\left(\mathbf X' \mathbf X\right)^{-1}= \left[ \begin{matrix} \sum x_i^2 & -\sum x_i\\ -\sum x_i & n \end{matrix}\right]\cdot \left[n\sum x_i^2-\left(\sum x_i\right)^2\right]^{-1}$

Sahibiz

[n \sum x_{i}^{2} - {(\sum x_{i})}^{2}] = [n \sum x_{i}^{2} - n^{2} {\bar{x}}^{2}] = n [\sum x_{i}^{2} - n {\bar{x}}^{2}] = n \sum (x_{i}^{2} - {\bar{x}}^{2}) \equiv n S_{x x}

$\left[n\sum x_i^2-\left(\sum x_i\right)^2\right] = \left[n\sum x_i^2-n^2\bar x^2\right] = n\left[\sum x_i^2-n\bar x^2\right] \\= n\sum (x_i^2-\bar x^2) \equiv nS_{xx}$

Yani

{(X^{'} X)}^{- 1} = [\begin{matrix} (1 / n) \sum x_{i}^{2} & - \bar{x} \\ - \bar{x} & 1 \end{matrix}] \cdot (1 / S_{x x})

$\left(\mathbf X' \mathbf X\right)^{-1}= \left[ \begin{matrix} (1/n)\sum x_i^2 & -\bar x\\ -\bar x & 1 \end{matrix}\right]\cdot (1/S_{xx})$

bunun anlamı

Var ({\hat{β}}_{0}) = σ^{2} (\frac{1}{n} \sum x_{i}^{2}) \cdot (1 / S_{x x}) = \frac{σ^{2}}{n} \frac{S_{x x} + n {\bar{x}}^{2}}{S_{x x}} = σ^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{S_{x x}})

$\text{Var}(\hat \beta_0) = \sigma^2\left(\frac 1n\sum x_i^2\right)\cdot \ (1/S_{xx}) = \frac {\sigma^2}{n}\frac{S_{xx}+n\bar x^2} {S_{xx}} = \sigma^2\left(\frac 1n + \frac{\bar x^2} {S_{xx}}\right)$

Var ({\hat{β}}_{1}) = σ^{2} (1 / S_{x x})

$\text{Var}(\hat \beta_1) = \sigma^2(1/S_{xx})$

Cov ({\hat{β}}_{0}, {\hat{β}}_{1}) = - σ^{2} (\bar{x} / S_{x x})

$\text{Cov}(\hat \beta_0,\hat \beta_1) = -\sigma^2(\bar x/S_{xx})$

-inci kalıntı olarak tanımlanmıştır $i$

{\hat{u}}_{i} = y_{i} - {\hat{y}}_{i} = (β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i} + u_{i}

$\hat u_i = y_i - \hat y_i = (\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i +u_i$

Gerçek katsayıları geri çekici sabit (veya geçerli) olup, sabit olarak ve hata terimi sıfır kovaryans sahip olan , ancak tahmin hata terimi ile ilişkilidir, tahmin bağımlı değişken içerdiğinden ve bağımlı değişken hata terimini içerir. Böylece sahibiz

Var ({\hat{u}}_{i}) = [Var (u_{i}) + Var ({\hat{β}}_{0}) + x_{i}^{2} Var ({\hat{β}}_{1}) + 2 x_{i} Cov ({\hat{β}}_{0}, {\hat{β}}_{1})] + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i})

$\text{Var}(\hat u_i) = \Big[\text{Var}(u_i)+\text{Var}(\hat \beta_0)+x_i^2\text{Var}(\hat \beta_1)+2x_i\text{Cov}(\hat \beta_0,\hat \beta_1)\Big] + 2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

= [σ^{2} + σ^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{S_{x x}}) + x_{i}^{2} σ^{2} (1 / S_{x x}) + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i})

$=\Big[\sigma^2 + \sigma^2\left(\frac 1n + \frac{\bar x^2} {S_{xx}}\right) + x_i^2\sigma^2(1/S_{xx}) +2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

Almak için biraz paketleyin

Var ({\hat{u}}_{i}) = [σ^{2} \cdot (1 + \frac{1}{n} + \frac{(x_{i} - \bar{x})^{2}}{S_{x x}})] + 2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i})

$\text{Var}(\hat u_i)=\left[\sigma^2\cdot \left(1 + \frac 1n + \frac {(x_i-\bar x)^2}{S_{xx}}\right)\right]+ 2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i)$

Büyük parantez içinde terim tek değişiklik yerine o olmak, tahmin hatasının varyansı ile tam olarak aynı yapıya sahiptir biz sahip olacak (ve varyans o olacaktır ve değil ). Son kovaryans terimi kestirim hatası için bir sıfır olduğundan ve dolayısıyla olan değil , çünkü tahmin edicileri dahil, fakat sıfır kestirim hatası için ve dolayısıyla numunenin bir parçası olan ve bu yüzden de dahildir tahmincisi. Sahibiz $x_i$ $x^0$ $e^0$ $\hat u_i$ $y^0$ $u^0$ $y_i$ $u_i$

2 Cov ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}], u_{i}) = 2 E ([(β_{0} - {\hat{β}}_{0}) + (β_{1} - {\hat{β}}_{1}) x_{i}] u_{i})

$2\text{Cov}([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i],u_i) = 2E\left([(\beta_0 - \hat \beta_0) + (\beta_1 - \hat \beta_1)x_i]u_i\right)$

= - 2 E ({\hat{β}}_{0} u_{i}) - 2 x_{i} E ({\hat{β}}_{1} u_{i}) = - 2 E ([\bar{y} - {\hat{β}}_{1} \bar{x}] u_{i}) - 2 x_{i} E ({\hat{β}}_{1} u_{i})

$=-2E\left(\hat \beta_0u_i\right)-2x_iE\left(\hat \beta_1u_i\right) = -2E\left([\bar y -\hat \beta_1 \bar x]u_i\right)-2x_iE\left(\hat \beta_1u_i\right)$

nasıl hesaplandığıyla ilgili son değişiklik . Devam ediyor, $\hat \beta_0$

. . . = - 2 E (\bar{y} u_{i}) - 2 (x_{i} - \bar{x}) E ({\hat{β}}_{1} u_{i}) = - 2 \frac{σ^{2}}{n} - 2 (x_{i} - \bar{x}) E [\frac{\sum (x_{i} - \bar{x}) (y_{i} - \bar{y})}{S_{x x}} u_{i}]

$...=-2E(\bar yu_i) -2(x_i-\bar x)E\left(\hat \beta_1u_i\right) = -2\frac {\sigma^2}{n} -2(x_i-\bar x)E\left[\frac {\sum(x_i-\bar x)(y_i-\bar y)}{S_{xx}}u_i\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [\sum (x_{i} - \bar{x}) E (y_{i} u_{i} - \bar{y} u_{i})]

$=-2\frac {\sigma^2}{n} -2\frac {(x_i-\bar x)}{S_{xx}}\left[ \sum(x_i-\bar x)E(y_iu_i-\bar yu_i)\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [- \frac{σ^{2}}{n} \sum_{j \neq i} (x_{j} - \bar{x}) + (x_{i} - \bar{x}) σ^{2} (1 - \frac{1}{n})]

$=-2\frac {\sigma^2}{n} -2\frac {(x_i-\bar x)}{S_{xx}}\left[ -\frac {\sigma^2}{n}\sum_{j\neq i}(x_j-\bar x) + (x_i-\bar x)\sigma^2(1-\frac 1n)\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [- \frac{σ^{2}}{n} \sum (x_{i} - \bar{x}) + (x_{i} - \bar{x}) σ^{2}]

$=-2\frac {\sigma^2}{n}-2\frac {(x_i-\bar x)}{S_{xx}}\left[ -\frac {\sigma^2}{n}\sum(x_i-\bar x) + (x_i-\bar x)\sigma^2\right]$

= - 2 \frac{σ^{2}}{n} - 2 \frac{(x_{i} - \bar{x})}{S_{x x}} [0 + (x_{i} - \bar{x}) σ^{2}] = - 2 \frac{σ^{2}}{n} - 2 σ^{2} \frac{(x_{i} - \bar{x})^{2}}{S_{x x}}

$=-2\frac {\sigma^2}{n}-2\frac {(x_i-\bar x)}{S_{xx}}\left[ 0 + (x_i-\bar x)\sigma^2\right] = -2\frac {\sigma^2}{n}-2\sigma^2\frac {(x_i-\bar x)^2}{S_{xx}}$

Bunu, artığın varyansının ifadesine ekleyerek,

Var ({\hat{u}}_{i}) = σ^{2} \cdot (1 - \frac{1}{n} - \frac{(x_{i} - \bar{x})^{2}}{S_{x x}})

$\text{Var}(\hat u_i)=\sigma^2\cdot \left(1 - \frac 1n - \frac {(x_i-\bar x)^2}{S_{xx}}\right)$

Böylece OP'nin kullandığı metne şapka çıkar.

(Bazı cebirsel manipülasyonları atladım, bu günlerde OLS cebirinin daha az öğretilmesine şaşmamalı ...)

BAZI GİRİŞ

Öyleyse, tahmin edilirken "bize karşı" (daha büyük varyans) işe yarayan, tahmin yaparken "bizim için" (daha düşük varyans) işe yarar. Bu, mükemmel bir uyumun modelin tahmin yetenekleri için neden kötü bir işaret olabileceğini düşünmek için iyi bir başlangıç noktasıdır (bununla birlikte sezgisel gelebilir ...). Regresörün beklenen değerini tahmin
ediyor olmamız , varyansı azaltır . Niye ya? çünkü tahmin ederek, örnekte var olan bazı hata değişkenliğine "gözlerimizi kapatıyoruz" , çünkü esasen beklenen bir değeri tahmin ediyoruz. Ayrıca, bir regresörün gözleminin regresörün numune ortalamasından sapması ne kadar büyük olursa, $1/n$ bu gözlemle ilişkili kalıntıların varyansı ... gözlem ne kadar sapkın olursa, kalıntı o kadar az sapkın olacaktır ... Bilinmeyen hatanın "yerini alarak" bizim için çalışan regresörlerin değişkenliği- değişkenliği.

Ama bu tahmin için iyi . İçin tahmini , aynı şeyleri saldırmasını: şimdi, içinde, ama eksik olarak dikkate değişkenliği almayarak (biz bunu tahmin istiyoruz beri), numuneden elde eden kusurlu tahmincileri zaafları gösterir: biz tahmin örnek ortalama, gerçek beklenen değeri bilmiyoruz -varyans artar. Diğer gözlemlerden hesaplandığı gibi örnek ortalamadan uzak bir 0'ımız var - kötü, tahmin hatası varyansımız başka bir destek alıyor, çünkü tahmin edilen sapma eğilimi gösterecek ... daha fazla Bilimsel dil "düşük tahmin hatası varyansı anlamında optimal öngörücüler, $y^0$ $x^0$ $\hat y^0$ ortalama doğru büzülme tahmini altında değişkenin yakın ortalama ile '". Biz bağımlı değişkenin değişkenliği -Biz sadece kalmak için denemek çoğaltmak için çalışmayın'.

— Alecos Papadopoulos
kaynak

Çok açık bir cevap için teşekkürler! Benim "sezgilerimin" doğru olduğuna sevindim.

— Eric

Alecos, bunun doğru olduğunu düşünmüyorum.

— Glen_b

@Alecos hata, hata terimi ile ilgisiz parametre tahminlerini almaktır. Bu bölüm: doğru değil.

Var ({\hat{u}}_{i}) = Var (u_{i}) + Var ({\hat{β}}_{0}) + x_{i}^{2} Var ({\hat{β}}_{1}) + 2 x_{i} Cov ({\hat{β}}_{0}, {\hat{β}}_{1})

$\text{Var}(\hat u_i) = \text{Var}(u_i)+\text{Var}(\hat \beta_0)+x_i^2\text{Var}(\hat \beta_1)+2x_i\text{Cov}(\hat \beta_0,\hat \beta_1)$

— Glen_b

@Eric Sizi daha önce yanılttığım için özür dilerim. Her iki formül için de sezgi sağlamaya çalıştım.

— Alecos Papadopoulos

+1 Bunun için neden çoklu regresyon vakasını yaptığımı görebilirsiniz ... basit regresyon vakasını yapmak için ekstra çaba harcadığınız için teşekkürler.

— Glen_b

Biraz kısa cevap için özür dilerim, belki de aşırı soyut ve arzu edilen miktarda sezgisel sergiden yoksun, ama geri gelmeye ve daha sonra birkaç ayrıntı daha eklemeye çalışacağım. En azından kısa.

Verilen , $H=X(X^TX)^{-1}X^T$

\begin{array}{rcl} Var (y - \hat{y}) & = & Var ((I - H) y) \\ = & (I - H) Var (y) (I - H)^{T} \\ = & σ^{2} (I - H)^{2} \\ = & σ^{2} (I - H) \end{array}

$\begin{eqnarray} \text{Var}(y-\hat{y})&=&\text{Var}((I-H)y)\\ &=&(I-H)\text{Var}(y)(I-H)^T\\ &=&\sigma^2(I-H)^2\\ &=&\sigma^2(I-H) \end{eqnarray}$

bundan dolayı

Var (y_{i} - {\hat{y}}_{i}) = σ^{2} (1 - h_{i i})

$\text{Var}(y_i-\hat{y}_i)=\sigma^2(1-h_{ii})$

Basit doğrusal regresyon durumunda ... bu sorunuzun cevabını verir.

Bu cevap da mantıklıdır: ile pozitif korelasyon , farkın varyansı varyansların toplamından daha küçük olmalıdır. $\hat{y}_i$ $y_i$

Düzenleme: neden açıklaması olduğu İdempotent . $(I-H)$

(i) idempotenttir: $H$

$H^2=X(X^TX)^{-1}X^TX(X^TX)^{-1}X^T$ $= X\ [(X^TX)^{-1}X^TX]\ (X^TX)^{-1}X^T=X(X^TX)^{-1}X^T=H$

(ii) $(I-H)^2= I^2-IH-HI+H^2=I-2H+H=I-H$

— Glen_b-Monica'yı eski durumuna döndür
kaynak

Benim için açık olmayan bir adım neden olsa da, bu basitliği için çok güzel bir türev . Belki cevabınızı biraz genişlettiğinizde, yine de yapmayı planladığınız için, bununla ilgili küçük bir şey söyleyebilirsiniz?

(I - H)^{2} = (I - H)

$(I-H)^2=(I-H)$

— Jake Westfall

@Jake Sonuna birkaç satır eklendi

— Glen_b -Restate Monica