Basit doğrusal regresyonda regresyon katsayısının varyansını elde etmek

Basit doğrusal regresyonda, , burada . Tahminciyi : burada ve , ve örnek aracıdır . $y = \beta_0 + \beta_1 x + u$ $u \sim iid\;\mathcal N(0,\sigma^2)$

\hat{β_{1}} = \frac{\sum_{i} (x_{i} - \bar{x}) (y_{i} - \bar{y})}{\sum_{i} (x_{i} - \bar{x})^{2}},

$\hat{\beta_1} = \frac{\sum_i (x_i - \bar{x})(y_i - \bar{y})}{\sum_i (x_i - \bar{x})^2}\ ,$

\bar{x}

$\bar{x}$

\bar{y}

$\bar{y}$

x

$x$

y

$y$

Şimdi varyansını bulmak istiyorum . gibi bir şey : $\hat\beta_1$

Var (\hat{β_{1}}) = \frac{σ^{2} (1 - \frac{1}{n})}{\sum_{i} (x_{i} - \bar{x})^{2}} .

$\text{Var}(\hat{\beta_1}) = \frac{\sigma^2(1 - \frac{1}{n})}{\sum_i (x_i - \bar{x})^2}\ .$

Türev aşağıdaki gibidir:

\begin{aligned} Var (\hat{β_{1}}) \\ = Var (\frac{\sum_{i} (x_{i} - \bar{x}) (y_{i} - \bar{y})}{\sum_{i} (x_{i} - \bar{x})^{2}}) \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} Var (\sum_{i} (x_{i} - \bar{x}) (β_{0} + β_{1} x_{i} + u_{i} - \frac{1}{n} \sum_{j} (β_{0} + β_{1} x_{j} + u_{j}))) \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} Var (β_{1} \sum_{i} (x_{i} - \bar{x})^{2} + \sum_{i} (x_{i} - \bar{x}) (u_{i} - \sum_{j} \frac{u_{j}}{n})) \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} Var (\sum_{i} (x_{i} - \bar{x}) (u_{i} - \sum_{j} \frac{u_{j}}{n})) \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} \times \\ E [{(\sum_{i} (x_{i} - \bar{x}) (u_{i} - \sum_{j} \frac{u_{j}}{n}) - \underset{= 0}{\underset{⏟}{E [\sum_{i} (x_{i} - \bar{x}) (u_{i} - \sum_{j} \frac{u_{j}}{n})]}})}^{2}] \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} E [{(\sum_{i} (x_{i} - \bar{x}) (u_{i} - \sum_{j} \frac{u_{j}}{n}))}^{2}] \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} E [\sum_{i} (x_{i} - \bar{x})^{2} (u_{i} - \sum_{j} \frac{u_{j}}{n})^{2}], since u_{i}'s are iid \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} \sum_{i} (x_{i} - \bar{x})^{2} E {(u_{i} - \sum_{j} \frac{u_{j}}{n})}^{2} \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} \sum_{i} (x_{i} - \bar{x})^{2} (E (u_{i}^{2}) - 2 \times E (u_{i} \times (\sum_{j} \frac{u_{j}}{n})) + E {(\sum_{j} \frac{u_{j}}{n})}^{2}) \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} \sum_{i} (x_{i} - \bar{x})^{2} (σ^{2} - \frac{2}{n} σ^{2} + \frac{σ^{2}}{n}) \\ = \frac{σ^{2}}{\sum_{i} (x_{i} - \bar{x})^{2}} (1 - \frac{1}{n}) \end{aligned}

$\begin{align} &\text{Var}(\hat{\beta_1})\\ & = \text{Var} \left(\frac{\sum_i (x_i - \bar{x})(y_i - \bar{y})}{\sum_i (x_i - \bar{x})^2} \right) \\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2} \text{Var}\left( \sum_i (x_i - \bar{x})\left(\beta_0 + \beta_1x_i + u_i - \frac{1}{n}\sum_j(\beta_0 + \beta_1x_j + u_j) \right)\right)\\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2} \text{Var}\left( \beta_1 \sum_i (x_i - \bar{x})^2 + \sum_i(x_i - \bar{x}) \left(u_i - \sum_j \frac{u_j}{n}\right) \right)\\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2}\text{Var}\left( \sum_i(x_i - \bar{x})\left(u_i - \sum_j \frac{u_j}{n}\right)\right)\\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2}\;\times \\ &\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;E\left[\left( \sum_i(x_i - \bar{x})(u_i - \sum_j \frac{u_j}{n}) - \underbrace{E\left[\sum_i(x_i - \bar{x})(u_i - \sum_j \frac{u_j}{n})\right] }_{=0}\right)^2\right]\\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2} E\left[\left( \sum_i(x_i - \bar{x})(u_i - \sum_j \frac{u_j}{n})\right)^2 \right] \\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2} E\left[\sum_i(x_i - \bar{x})^2(u_i - \sum_j \frac{u_j}{n})^2 \right]\;\;\;\;\text{ , since } u_i \text{ 's are iid} \\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2}\sum_i(x_i - \bar{x})^2E\left(u_i - \sum_j \frac{u_j}{n}\right)^2\\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2}\sum_i(x_i - \bar{x})^2 \left(E(u_i^2) - 2 \times E \left(u_i \times (\sum_j \frac{u_j}{n})\right) + E\left(\sum_j \frac{u_j}{n}\right)^2\right)\\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2}\sum_i(x_i - \bar{x})^2 \left(\sigma^2 - \frac{2}{n}\sigma^2 + \frac{\sigma^2}{n}\right)\\ & = \frac{\sigma^2}{\sum_i (x_i - \bar{x})^2}\left(1 - \frac{1}{n}\right) \end{align}$

Burada yanlış bir şey mi yaptım?

Matris notasyonunda her şeyi yaparsam, ${\rm Var}(\hat{\beta_1}) = \frac{\sigma^2}{\sum_i (x_i - \bar{x})^2}$ . Fakat sadece kavramları anladığımdan emin olmak için matris gösterimini kullanmadan cevabı çıkarmaya çalışıyorum.

— benim adım Jeff
kaynak

Evet, matris notasyonundaki formülünüz doğru. Söz konusu formüle bakıldığında, , popülasyon standart sapması yerine bir yerde standart bir standart sapma kullanmış gibi görünüyorsunuz? Türev görmeden, artık söylemek zor.

1 - \frac{1}{n} = \frac{n - 1}{n}

$1-\frac1{n}\,=\,\frac{n-1}{n}$

— TooTone

Genel cevaplar ayrıca yinelenen iş parçacığına istatistik.stackexchange.com/questions/91750 adresinde yayınlanmıştır .

— whuber

Yanıtlar:

Senin türetme başladığında size çarpma dışarı parantez , hem genişleyen sürecinde ve . İlki, toplam değişkenine ( bağlıdır , oysa ikincisi değildir. olduğu gibi ayrılırsanız , türetme çok daha basittir çünkü $\sum_i (x_i - \bar{x})(y_i - \bar{y})$ $y_i$ $\bar{y}$ $i$ $\bar{y}$

\begin{aligned} \sum_{i} (x_{i} - \bar{x}) \bar{y} & = \bar{y} \sum_{i} (x_{i} - \bar{x}) \\ = \bar{y} ((\sum_{i} x_{i}) - n \bar{x}) \\ = \bar{y} (n \bar{x} - n \bar{x}) \\ = 0 \end{aligned}

$\begin{align} \sum_i (x_i - \bar{x})\bar{y} &= \bar{y}\sum_i (x_i - \bar{x})\\ &= \bar{y}\left(\left(\sum_i x_i\right) - n\bar{x}\right)\\ &= \bar{y}\left(n\bar{x} - n\bar{x}\right)\\ &= 0 \end{align}$

bundan dolayı

\begin{aligned} \sum_{i} (x_{i} - \bar{x}) (y_{i} - \bar{y}) & = \sum_{i} (x_{i} - \bar{x}) y_{i} - \sum_{i} (x_{i} - \bar{x}) \bar{y} \\ = \sum_{i} (x_{i} - \bar{x}) y_{i} \\ = \sum_{i} (x_{i} - \bar{x}) (β_{0} + β_{1} x_{i} + u_{i}) \end{aligned}

$\begin{align} \sum_i (x_i - \bar{x})(y_i - \bar{y}) &= \sum_i (x_i - \bar{x})y_i - \sum_i (x_i - \bar{x})\bar{y}\\ &= \sum_i (x_i - \bar{x})y_i\\ &= \sum_i (x_i - \bar{x})(\beta_0 + \beta_1x_i + u_i )\\ \end{align}$

\begin{aligned} Var (\hat{β_{1}}) & = Var (\frac{\sum_{i} (x_{i} - \bar{x}) (y_{i} - \bar{y})}{\sum_{i} (x_{i} - \bar{x})^{2}}) \\ = Var (\frac{\sum_{i} (x_{i} - \bar{x}) (β_{0} + β_{1} x_{i} + u_{i})}{\sum_{i} (x_{i} - \bar{x})^{2}}), substituting in the above \\ = Var (\frac{\sum_{i} (x_{i} - \bar{x}) u_{i}}{\sum_{i} (x_{i} - \bar{x})^{2}}), noting only u_{i} is a random variable \\ = \frac{\sum_{i} (x_{i} - \bar{x})^{2} Var (u_{i})}{{(\sum_{i} (x_{i} - \bar{x})^{2})}^{2}}, independence of u_{i} and, Var (k X) = k^{2} Var (X) \\ = \frac{σ^{2}}{\sum_{i} (x_{i} - \bar{x})^{2}} \end{aligned}

$\begin{align} \text{Var}(\hat{\beta_1}) & = \text{Var} \left(\frac{\sum_i (x_i - \bar{x})(y_i - \bar{y})}{\sum_i (x_i - \bar{x})^2} \right) \\ &= \text{Var} \left(\frac{\sum_i (x_i - \bar{x})(\beta_0 + \beta_1x_i + u_i )}{\sum_i (x_i - \bar{x})^2} \right), \;\;\;\text{substituting in the above} \\ &= \text{Var} \left(\frac{\sum_i (x_i - \bar{x})u_i}{\sum_i (x_i - \bar{x})^2} \right), \;\;\;\text{noting only $u_i$ is a random variable} \\ &= \frac{\sum_i (x_i - \bar{x})^2\text{Var}(u_i)}{\left(\sum_i (x_i - \bar{x})^2\right)^2} , \;\;\;\text{independence of } u_i \text{ and, Var}(kX)=k^2\text{Var}(X) \\ &= \frac{\sigma^2}{\sum_i (x_i - \bar{x})^2} \\ \end{align}$

istediğiniz sonuç budur.

Not olarak, uzun zamandır türevinizde bir hata bulmaya çalışıyorum. Sonunda, takdir yetkisinin cesaretin daha iyi bir parçası olduğuna ve daha basit bir yaklaşımı denemenin en iyisi olduğuna karar verdim. Ancak kayıt için bu adımın haklı olduğundan emin değildim çünkü e göre çapraz terimleri özlüyor .

\begin{aligned} = . \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} E [{(\sum_{i} (x_{i} - \bar{x}) (u_{i} - \sum_{j} \frac{u_{j}}{n}))}^{2}] \\ = \frac{1}{(\sum_{i} (x_{i} - \bar{x})^{2})^{2}} E [\sum_{i} (x_{i} - \bar{x})^{2} (u_{i} - \sum_{j} \frac{u_{j}}{n})^{2}], since u_{i}'s are iid \end{aligned}

$\begin{align} & =. \frac{1}{(\sum_i (x_i - \bar{x})^2)^2} E\left[\left( \sum_i(x_i - \bar{x})(u_i - \sum_j \frac{u_j}{n})\right)^2 \right] \\ & = \frac{1}{(\sum_i (x_i - \bar{x})^2)^2} E\left[\sum_i(x_i - \bar{x})^2(u_i - \sum_j \frac{u_j}{n})^2 \right]\;\;\;\;\text{ , since } u_i \text{ 's are iid} \\ \end{align}$

\sum_{j} \frac{u_{j}}{n}

$\sum_j \frac{u_j}{n}$

— TooTone
kaynak

Daha basit bir yaklaşımı uzun zaman önce kullanabileceğimi fark ettim, ancak kavramları anlamak için derinlemesine kazmaya ve farklı yaklaşımları kullanarak aynı cevabı bulmaya kararlıydım. Normal denklemlerden ilk (en az kare yönteminden FOC), yani , artı , yani . Bu yüzden ilk başta terimi olmayacak .

\sum_{j} \hat{u_{j}} = 0

$\sum_j \hat{u_j} = 0$

\bar{\hat{u}} = \frac{\sum_{i} u_{i}}{n} = 0

$\bar{\hat{u}} = \frac{\sum_i u_i}{n}=0$

\bar{\hat{u}} = \bar{y} - \bar{\hat{y}} = 0

$\bar{\hat{u}} = \bar{y} - \bar{\hat{y}} = 0$

\bar{y} = \bar{\hat{y}}

$\bar{y} = \bar{\hat{y}}$

\sum_{j} \frac{u_{j}}{n}

$\sum_j \frac{u_j}{n}$

— mynameisJEFF

Tamam, sorunuzda vurgu matris gösterilmesinden kaçınıyordu.

— TooTone

Evet, çünkü matris gösterimini kullanarak çözebildim. Ve son yorumumdan duyduğuma göre herhangi bir lineer cebir kullanmadım. Yine de büyük cevabınız için teşekkürler ^. ^

— mynameisJEFF

üzgünüm burada çapraz amaçlarla mı konuşuyoruz? Ben de cevabımda hiçbir matris notasyonu kullanmadım, ve sorunuzda sorduğunuz şeyin bu olduğunu düşündüm.

— TooTone

haha yanlış anlama için özür dilerim ...

— mynameisJEFF

Kanıtınızındaki sorunun, karesinin beklenen değerini attığınız adım olduğuna inanıyorum . Bu, , burada . Böylece, üzerine, . Şimdi, açık bir hesaplamadan, , bu yüzden olarak $\sum_i (x_i - \bar{x} )\left( u_i -\sum_j \frac{u_j}{n} \right)$ $E \left[\left(\sum_i a_i b_i \right)^2 \right]$ $a_i = x_i -\bar{x}; b_i = u_i -\sum_j \frac{u_j}{n}$ $E \left[ \sum_{i,j} a_i a_j b_i b_j \right] = \sum_{i,j} a_i a_j E\left[b_i b_j \right]$ $E\left[b_i b_j \right] = \sigma^2 \left( \delta_{ij} -\frac{1}{n} \right)$ $E \left[ \sum_{i,j} a_i a_j b_i b_j \right] = \sum_{i,j} a_i a_j \sigma^2 \left( \delta_{ij} -\frac{1}{n} \right) = \sum_i a_i^2 \sigma^2$ $\sum_i a_i = 0$ .

— Stefano
kaynak

"Türev aşağıdaki gibidir:" 7. "=" yanlıştır.

Çünkü

$\sum_i (x_i - \bar{x})(u_i - \bar{u})$

$= \sum_i (x_i - \bar{x})u_i - \sum_i (x_i - \bar{x}) \bar{u}$

$= \sum_i (x_i - \bar{x})u_i - \bar{u} \sum_i (x_i - \bar{x})$

$= \sum_i (x_i - \bar{x})u_i - \bar{u} (\sum_i{x_i} -n \bar{x})$

$= \sum_i (x_i - \bar{x})u_i - \bar{u} (\sum_i{x_i} -\sum_i{x_i})$

$= \sum_i (x_i - \bar{x})u_i - \bar{u} 0$

$= \sum_i (x_i - \bar{x})u_i$

Yani 7. "" "den sonra şöyle olmalı:

$\frac {1} {(\sum_i(x_i-\bar{x})^2)^2}E\left[\left(\sum_i(x_i-\bar{x})u_i\right)^2\right]$

$=\frac {1} {(\sum_i(x_i-\bar{x})^2)^2}E\left(\sum_i(x_i-\bar{x})^2u_i^2 + 2\sum_{i\ne j}(x_i-\bar{x})(x_j-\bar{x})u_iu_j\right)$

= $\frac {1} {(\sum_i(x_i-\bar{x})^2)^2}E\left(\sum_i(x_i-\bar{x})^2u_i^2\right) + 2E\left(\sum_{i\ne j}(x_i-\bar{x})(x_j-\bar{x})u_iu_j\right)$

= , çünkü ve bağımsızdır ve ortalama 0, yani $\frac {1} {(\sum_i(x_i-\bar{x})^2)^2}E\left(\sum_i(x_i-\bar{x})^2u_i^2\right)$ $u_i$ $u_j$ $E(u_iu_j) =0$

= $\frac {1} {(\sum_i(x_i-\bar{x})^2)^2}\left(\sum_i(x_i-\bar{x})^2E(u_i^2)\right)$

$\frac {\sigma^2} {(\sum_i(x_i-\bar{x})^2)^2}$

— user158565
kaynak

Cevabınızı doğru satırı içerecek şekilde düzenlediyseniz, yararlı olabilir.

— mdewey

Yanıtınız otomatik olarak düşük kalite olarak işaretleniyor çünkü çok kısa. Lütfen cevabınızı genişletmeyi düşünün

— Glen_b