Çoklu regresyon katsayıları için standart hatalar?

Bunun çok temel bir soru olduğunun farkındayım, ama hiçbir yerde bir cevap bulamıyorum.

Normal denklemleri veya QR ayrışmasını kullanarak regresyon katsayılarını hesaplıyorum. Her katsayı için standart hataları nasıl hesaplayabilirim? Genellikle standart hatalar olarak hesaplanmaktadır düşünüyorum:

$SE_\bar{x}\ = \frac{\sigma_{\bar x}}{\sqrt{n}}$

Ne Her bir katsayı için? Bunu OLS bağlamında hesaplamanın en etkili yolu nedir?$\sigma_{\bar x}$

En küçük kareler kestirimi yaparken (normal rasgele bir bileşen varsayarak) regresyon parametre tahminleri normalde gerçek regresyon parametresine ve kovaryans matrisine eşit ortalama ile dağıtılır burada artık varyans ve tasarım matrisidir. ve devrik olan ve modeli denklem ile tanımlanmaktadır Y = X \ p + \ epsilon ile \ beta regresyon parametreleri ve \ epsilon hata terimidir. Bir beta parametresinin tahmini standart sapması, (X ^ TX) ^ {- 1} içindeki ilgili terim alınarak elde edilir. s 2 X T X X T X X Y = X β + ϵ β ϵ ( X T X ) - $\Sigma = s^2\cdot(X^TX)^{-1}$$s^2$$X^TX$$X^T$$X$$X$$Y=X\beta+\epsilon$$\beta$$\epsilon$$(X^TX)^{-1}$artık varyansın örnek tahmini ile çarpılması ve ardından kare kökün alınması. Bu çok basit bir hesaplama değildir, ancak herhangi bir yazılım paketi sizin için hesaplar ve çıktıda sağlar.

Misal

Draper ve Smith'in 134. sayfasında ( yorumumda atıfta bulunulur), Y = \ beta_0 + \ beta_1 X + \ varepsilon modeline en az kareyle sığdırmak için aşağıdaki verileri sağlarlar, $Y = \beta_0 + \beta_1 X + \varepsilon$burada $\varepsilon \sim N(0, \mathbb{I}\sigma^2)$ .

                      X                      Y                    XY
                      0                     -2                     0
                      2                      0                     0
                      2                      2                     4
                      5                      1                     5
                      5                      3                    15
                      9                      1                     9
                      9                      0                     0
                      9                      0                     0
                      9                      1                     9
                     10                     -1                   -10
                    ---                     --                   ---
Sum                  60                      5                    32
Sum of  Squares     482                     21                   528

Eğimin 0'a yakın olması gereken bir örnek gibi görünüyor.

$$X^t = \pmatrix{ 1 &1 &1 &1 &1 &1 &1 &1 &1 &1 \\ 0 &2 &2 &5 &5 &9 &9 &9 &9 &10 }.$$

Yani

$$X^t X = \pmatrix{n &\sum X_i \\ \sum X_i &\sum X_i^2} = \pmatrix{10 &60 \\60 &482}$$

ve

$$\eqalign{ (X^t X)^{-1} &= \pmatrix{ \frac{\sum X_i^2}{n \sum (X_i - \bar{X})^2} &\frac{-\bar{X}}{\sum (X_i-\bar{X})^2} \\ \frac{-\bar{X}}{\sum (X_i-\bar{X})^2} &\frac{1}{\sum (X_i-\bar{X})^2} } \\ &= \pmatrix{\frac{482}{10(122)} &-\frac{6}{122} \\ -\frac{6}{122} &\frac{1}{122}} \\ &= \pmatrix{0.395 &-0.049 \\ -0.049 &0.008} }$$

burada .$\bar{X} = \sum X_i/n = 60/10 = 6$

Tahmin için Sxy / S = b1 = (B0) = (Yb-b1 Xb)$β = (X^TX)^{-1} X^TY$

b1 = 1/61 = 0.0163 ve b0 = 0.5- 0.0163 (6) = 0.402

Kaynaktan Se hata terimi için tahmin edilen standart sapmadır SB1 = Se (0.008) ve SB0 = Se (0.395) üstünde. Se = √2.3085.$(X^TX)^{-1}$

Özür dilerim, denklemleri kesip yapıştırdığımda abonelik ve üst simge içermiyordu. Tablo da çoğalmadı çünkü boşluklar yok sayıldı. 3 sayının ilk dizesi, XY ve XY'nin ilk değerlerine karşılık gelir ve üçün followinf dizeleri için aynıdır. Toplamdan sonra sırasıyla XY ve XY toplamları ve ardından sırasıyla XY ve XY için kareler toplamı gelir. 2x2 matrisleri de bozuldu. Köşeli parantezler sonrası değerler soldaki sayıların altında köşeli parantez içinde olmalıdır.

Regresyon katsayılarının varyansının hesaplanması bu Wikipedia Sayfasında detaylandırılmıştır