Doğrusal regresyonda hataların varyans-kovaryans matrisi

12

Var / cov hata matrisi pratikte istatistiksel analiz paketleri ile nasıl hesaplanır?

Bu fikir benim için teoride açık. Ama pratikte değil. Demek istediğim, rastgele değişkenler vektörünüz varsa , varyans / kovaryans matrisinin olduğunu anlıyorum ortalamadan sapma vektörlerinin dış çarpımı verilecektir: . $\textbf{X}=(X_{1}, X_{2}, \ldots, X_{n})^\top$ $\Sigma$ $\Sigma=\mathrm{E}\left[(\textbf{X}-\mathrm{E}(\textbf{X}))(\textbf{X}-\mathrm{E}(\textbf{X}))^\top\right]$

Fakat bir örneğim olduğunda, gözlemlerimin hataları rastgele değişkenler değildir. Ya da daha iyisi, ama sadece aynı popülasyondan birkaç özdeş örnek alırsam. Aksi takdirde verilir. Öyleyse, sorum şu: Bir istatistiksel paket araştırmacı tarafından sağlanan gözlem listesinden (yani bir örnek) başlayarak nasıl var / cov matrisi üretebilir?

— Riccardo
kaynak

Gözlemlerinizin hataları rastgele değişkenlerin (y) fonksiyonudur ve bu nedenle kendileri rastgele olurlar. Sadece X'e bağlı olarak verilmezler.

— user603

1

Evet, tamamen katılıyorum. Ama söyledikleriniz teoride işe yarıyor. Aynı popülasyondan aynı boyutta 100 rastgele örnek çizersem, her gözlem hatası (0, sigma ^ 2) ile rastgele bir değişken olacaktır. Bunun yerine, yalnızca bir örnek çizersem ne olur? Bu durumda, her gözlemdeki hatanın ortalaması hatanın kendisidir. Söylediklerim net mi? Peki, anlamaya çalıştığım, Stata gibi bir paket popülasyondan sadece bir örnek kullanarak varyans-kovaryans matrisini nasıl hesaplıyor?

— Riccardo

7

tipinde bir model için kovaryans matrisi genellikle olarak hesaplanır $y = X\beta + \epsilon$ , rezidüel kareler toplamıdırveserbestlik derecesi (tipik olarak gözlem sayısı eksi parametrelerinin sayısı).

(X^{t} X)^{- 1} \frac{σ^{2}}{d}

$(X^t X)^{-1}\frac{\sigma^2}{d}$

σ^{2}

$\sigma^2$

σ^{2} = \sum_{i} (y_{i} - X_{i} \hat{β})^{2}

$\sigma^2=\sum_i (y_i - X_i\hat\beta)^2$

d

$d$

Sağlam ve / veya kümelenmiş standart hatalar için ürünü hafifçe değiştirilir. Kovaryans matrisini hesaplamanın başka yolları da olabilir, örneğin dış ürünlerin beklentisiyle önerildiği gibi. $X^t X$

— Simen Gaure
kaynak

3

EKK tahmin ait hata varyansı , : $\sigma^2$

s^{2} = \frac{{\hat{ε}}^{⊤} \hat{ε}}{n - p}

$s^2=\frac{\hat \varepsilon^\top\hat \varepsilon}{n-p}$

Bu, Julian J. Faraway tarafından R kullanılarak Pratik Regresyon ve Anova'ya dahil edilmiştir , sayfa 21 .

Mil başına galon dahil çoklu araba modeli özellikleri üzerinde geriledi doğrusal modele dayalı Ar yılında hesaplanması, örnek mtcarsveritabanı: ols = lm(mpg ~ disp + drat + wt, mtcars). Bunlar manuel hesaplamalar ve lm()işlevin çıktısıdır :

> rdf = nrow(X) - ncol(X)                    # Residual degrees of freedom
> s.sq = as.vector((t(ols$residuals) %*% ols$residuals) / rdf) 
>                                            # s square (OLS estimate of sigma square)
> (sigma = sqrt(s.sq))                       # Residual standar error
[1] 2.950507
> summary(ols)

Call:
lm(formula = mpg ~ disp + drat + wt, data = mtcars)
...
Residual standard error: 2.951 on 28 degrees of freedom

$\hat \beta$

V bir r [\hat{β} | X] = σ^{2} {(X^{⊤} X)}^{- 1}

$\mathrm{Var}\left[\hat \beta \mid X \right] =\sigma^2 \left(X^\top X\right)^{-1}$

bu online belgenin sayfa 8'de olarak tahmin olarak

\hat{V bir r} [\hat{β} | X] = s^{2} {(X^{⊤} X)}^{- 1}

$\hat{\mathrm{Var}}\left[\hat \beta \mid X \right] =s^2 \left(X^\top X\right)^{-1}$

> X = model.matrix(ols)                             # Model matrix X
> XtX = t(X) %*% X                                  # X transpose X
> Sigma = solve(XtX) * s.sq                         # Variance - covariance matrix
> all.equal(Sigma, vcov(ols))                       # Same as built-in formula
[1] TRUE
> sqrt(diag(Sigma))                                 # Calculated Std. Errors of coef's
(Intercept)        disp        drat          wt 
7.099791769 0.009578313 1.455050731 1.217156605 
> summary(ols)[[4]][,2]                             # Output of lm() function
(Intercept)        disp        drat          wt 
7.099791769 0.009578313 1.455050731 1.217156605

— Antoni Parellada
kaynak

2

$Y = \beta*X +\varepsilon$ $Y$ $X$ $\beta$ $X$ $Y$

— Rajiv Sambasivan
kaynak

Merhaba Rajiv, düzeltme için teşekkür ederim. Peki, Stata'nın (veya başka bir istatistik paketinin) Y'den (ve epsilondan) nasıl varyans-kovaryans matrisi Sigma'yı türetmeyi başardığını açıklayabilir misiniz?

— Riccardo

\hat{e} {\hat{e}}^{'}

$\hat{e}\hat{e}'$

User603 ile aynı fikirde. Lütfen cran.r-project.org/doc/contrib/Faraway-PRA.pdf sayfasının 21. sayfasını kontrol edin . Bu R'ye dayanır, ancak doğrusal regresyonun arkasındaki teori hakkında iyi bir tartışma içerir.

— Rajiv Sambasivan

Merhabalar, teşekkürler, her şeyden önce. Size de katılıyorum user603 ve bu cevabı bekliyordum. Ancak, hata vektörlerinin dış çarpımını hesaplayarak hesapladığı var / cov matrisi, bu, çoğu durumda hata bileşenleri arasındaki cov'un bağımsızlık hipotezinin göstereceği gibi sıfır olmayacağı anlamına gelir. Sağ? Benim kuşkum budur. Rajiv, önerdiğin iyi rehbere baktım ama bir cevap bulamadım. İleride cevap vermeniz için şimdiden teşekkür ederiz.

— Riccardo