Doğrusal regresyonda katsayıların varyans-kovaryans matrisi nasıl elde edilir

Doğrusal regresyon hakkında bir kitap okuyorum ve nin varyans-kovaryans matrisini anlamada bazı problemlerim var :$\mathbf{b}$

Köşegen öğeler yeterince kolaydır, ancak köşegen olmayan öğeler biraz daha zordur, beni şey şu:

$$\sigma(b_0, b_1) = E(b_0 b_1) - E(b_0)E(b_1) = E(b_0 b_1) - \beta_0 \beta_1$$

ancak burada ve yok.β $\beta_0$$\beta_1$

Bu aslında sizin bir regresyon konusundaki temel anlayışınızı zorlayan harika bir soru.

İlk olarak, gösterim ile ilgili herhangi bir ilk karışıklığı çıkarın. Regresyona bakıyoruz:

$$y=b_0+b_1x+\hat{u}$$

nerede ve true tahmincisi ve ve regresyon kalıntılar bulunmaktadır. Altta yatan doğru ve engellenmemiş regresyonun şöyle belirtildiğine dikkat edin:$b_0$$b_1$$\beta_0$$\beta_1$u$\hat{u}$

$$y=\beta_0+\beta_1x+u$$

ve varyans beklentisi ile . Bazı kitaplar göstermek olarak ve burada bu sözleşmeye uyum. Ayrıca, b'nin tahmin edicilerini tutan 2x1 vektör olduğu , yani matris notasyonunu da kullanırız . (Ayrıca netlik sağlamak için X'i aşağıdaki hesaplamalarda belirtildiği gibi kabul ediyorum.)$E[u]=0$$E[u^2]=\sigma^2$$b$$\hat{\beta}$$\beta=[\beta_0, \beta_1]'$$b=[b_0, b_1]'$

Şimdi sorunuza. Kovaryans formülünüz gerçekten doğrudur, yani:

$$\sigma(b_0, b_1) = E(b_0 b_1) - E(b_0)E(b_1) = E(b_0 b_1) - \beta_0 \beta_1$$

Sanırım bu formülde gözlemlenmeyen gerçek katsayıların nasıl geldiğini bilmek ister misiniz ? Formülü genişleterek bir adım daha ileri gidersek, aslında iptal edilirler. Bunu görmek için, tahmin edicinin popülasyon varyansının şu şekilde verildiğine dikkat edin:$\beta_0, \beta_1$

$$Var(\hat\beta)=\sigma^2(X'X)^{-1}$$

Bu matris, köşegen elemanlardaki değişimleri ve köşegen dışı elemanlardaki kovaryansları tutar.

Yukarıdaki formüle ulaşmak için, talebinizi matris notasyonu kullanarak genelleştirelim. Bu nedenle ile varyansı ve ile beklentiyi gösterelim .$Var[\cdot]$$E[\cdot]$

$$Var[b]=E[b^2]-E[b]E[b']$$

Temelde, sadece matris notasyonu kullanarak genel varyans formülüne sahibiz. Denklem, tahmincisinin standart ifadesinde yer değiştirdiğinde . Ayrıca, yansız bir tahmin edici olduğunu varsayalım . Dolayısıyla, biz elde ediyoruz:$b=(X'X)^{-1}X'y$$E[b]=\beta$

$$E[((X'X)^{-1}X'y)^2] - \underset{2 \times 2}{\beta^2}$$

Sağ tarafta - 2x2 matrisi, yani , ancak bu noktada kısa sürede bu terimle ne olacağını tahmin edebilirsiniz.$\beta^2$$bb'$

Yukarıdaki gerçek veri oluşturma işlemi için ifademizi ile değiştirerek aşağıdakileri yaptık:$y$

$$\begin{align*} E\Big[\Big((X'X)^{-1}X'y\Big)^2\Big] - \beta^2 &= E\Big[\Big((X'X)^{-1}X'(X\beta+u)\Big)^2\Big]-\beta^2 \\ &= E\Big[\Big(\underbrace{(X'X)^{-1}X'X}_{=I}\beta+(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \\ &= E\Big[\Big(\beta+(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \\ &= \beta^2+E\Big[\Big(X'X)^{-1}X'u\Big)^2\Big]-\beta^2 \end{align*}$$

beri . Ayrıca, ikinci dereceden terimi beklendiği şekilde iptal edilir.$E[u]=0$$\beta^2$

Böylece biz var:

$$Var[b]=((X'X)^{-1}X')^2E[u^2]$$

Beklentilerin doğrusallığı ile. Varsayımına göre ve çünkü , bir simetrik matrisidir ve dolayısıyla transpozisyonuyla aynıdır. Sonunda varıyoruz$E[u^2]=\sigma^2$$((X'X)^{-1}X')^2=(X'X)^{-1}X'X(X'X)'^{-1}=(X'X)^{-1}$$X'X$$K\times K$

$$Var[b]=\sigma^2(X'X)^{-1}$$

Şimdi tüm terimlerinden kurtulduk . Sezgisel olarak, tahmin edicinin varyansı, gerçek temel katsayı değerinden bağımsızdır, çünkü bu kendi başına rastgele bir değişken değildir. İle de çapraz elemanların kapalı ve böylece de geçerlidir kitapta gösterildiği gibi sonuç varyans kovaryans matrisi içinde tek tek tüm elemanları için de geçerlidir sırasıyla iptal etmek. Tek sorun, ilk başta bu iptali göstermeyen varyans için genel formülü uygulamanızdı.$\beta$$\beta_0\beta_1$

Sonuç olarak, katsayı varyans azaltır ve bağımsız . Ama bu ne anlama geliyor? (Genel kovaryans matrisi hakkında daha genel bir bilgi edinmek istediğinizi düşünüyorum.)$\sigma^2(X'X)^{-1}$$\beta$

Kitaptaki formüle bakın. Basitçe tahmin edicinin varyansının, temel hata teriminin daha gürültülü olduğu durumlarda ( arttığında) arttığını, ancak X yayılımının arttığında azaldığını iddia eder . Çünkü gerçek değerin etrafına daha fazla gözlem yayılması, genel olarak daha doğru ve dolayısıyla gerçek değerine yakın bir tahminci oluşturmanıza olanak sağlar . Öte yandan, diyagonal dışı kovaryans terimleri, gibi eklem hipotezlerinin hipotez testlerinde pratik olarak . Bunun dışında onlar gerçekten biraz şekerleme. Umarım bu tüm soruları netleştirir.$\sigma^2$$\beta$$b_0=b_1=0$

Senin durumunda biz var

$$X'X=\begin{bmatrix}n & \sum X_i\\\sum X_i & \sum X_i^2\end{bmatrix}$$

Bu matrisi ters çevirin ve istediğiniz sonucu elde edin.

Görünüşe göre öngörülen değerler (beklenen değerler). ve arasında geçiş . E ( b 0 ) = β 0 E ( b 1 ) = β $\beta_0 \beta_1$$E(b_0)=\beta_0$$E(b_1)=\beta_1$