Regresyon katsayılarının kovaryansının yorumu nedir?

R'deki lm fonksiyonu, regresyon katsayılarının tahmini kovaryansını yazdırabilir. Bu bilgi bize ne veriyor? Şimdi modeli daha iyi yorumlayabilir veya modelde mevcut olabilecek sorunları teşhis edebilir miyiz?

r multiple-regression least-squares

— mss
kaynak

Diğer tüm kovaryanslarla aynı yorum - doğrusal eşleştirme? Ana kullanım, seçilen kontrastların varyansını, örneğin kontrastları test etmek için hesaplamaktır.

— kjetil b halvorsen

Yanıtlar:

Kovaryans matrisinin en temel kullanımı, regresyon tahminlerinin standart hatalarını elde etmektir. Araştırmacı sadece bireysel regresyon parametrelerinin standart hatalarıyla ilgileniyorsa, bireysel standart hataları almak için diyagonalin karekökünü alabilirler.

Bununla birlikte, çoğu zaman regresyon parametrelerinin doğrusal bir kombinasyonu ile ilgilenebilirsiniz. Örneğin, belirli bir grup için gösterge değişkeniniz varsa, grup ortalamasıyla ilgilenebilirsiniz;

. $\beta_0 + \beta_{\rm grp}$

Ardından, bu grubun tahmini ortalaması için standart hatayı bulmak için,

, $\sqrt{X^\top S X}$

burada , karşıtlıklarınızın bir vektörü ve , kovaryans matrisidir. Bizim durumumuzda, sadece ek eş değişken "grp" varsa, o zaman ( kesme noktası için, grubuna ait). $X$ $S$ $X = (1,1)$ $1$ $1$

Ayrıca, kovaryans matrisi (veya daha fazlası, kovaryans matrisinden benzersiz olarak tanımlanan, ancak tam tersi olmayan korelasyon matrisi), bazı model teşhisleri için çok yararlı olabilir. Eğer iki değişken yüksek derecede ilişkiliyse, bunu düşünmenin bir yolu, modelin hangi değişkenin bir etkiden sorumlu olduğunu bulmakta zorlanmasıdır (çünkü bunlar birbirleriyle çok yakından ilişkilidir). Bu, öngörücü bir modelde kullanılacak ortak değişkenlerin alt kümelerini seçmek gibi çeşitli durumlar için yararlı olabilir; iki değişken yüksek derecede ilişkiliyse, tahmin modelinizde bu değişkenlerden yalnızca birini kullanmak isteyebilirsiniz.

— Cliff AB
kaynak

Açıklama için teşekkürler. Son paragrafınızda bağımsız değişkenler birbiriyle uyumlu olduğunda ortaya çıkabilecek sorunları açıklıyorsunuz. Gerçek kovaryans / korelasyon bakmak daha kolay olurdu gibi görünüyor

daha s

formülünde bir ters vardır.

X

$X$

β

$\beta$

V a r (\hat{β}) = E ({\hat{ε}}^{2}) {(X^{'} X)}^{- 1}

$Var(\hat\beta)=E(\hat\varepsilon^2)\left(X^\prime X\right)^{-1}$

— '16

İki çeşit regresyon katsayısı vardır:

$\beta$ $c$
$b$ $\hat \beta$ $c$

$X$ $Y$ $\left| \mathrm{Cov}\left(X,Y\right) \right|$ $X$ $Y$ $X$ $Y$

$b$ $b_1$ $b_2$ $b_1$ $b_2$ $b_1$ $b_2$

$b_1$ $b_1$

$\mathrm{Cov}\left(b_1,b_2\right)$

Bunun gerçekte ne için kullanıldığına gelince, Cliff AB'nin cevabı iyi bir özet.

— shadowtalker
kaynak

b_{i}

$b_i$

b_{j}

$b_j$

i \neq j

$i\ne j$

@whuber teşekkürler ve aslında bir noktada "korelasyon" yazdım. Telefonumdan

— indiğimde temizleyeceğim

Bir süre bu konuya geri dönmeyeceğimden, düzenlemeler için önceden +1!

— whuber

açıklamamda aynı hatayı yaptı!

— Cliff AB

@whuber şimdi kendi kovaryans anlayışımı ikinci olarak tahmin ediyorum. Benim sorunum sadece ölçeklerin farklı olabileceği gerçeğini vurgulamam mı yoksa başka bir şey mi kaçırıyorum? "Kutu" açıklamanızla karşılaştım ve bunun ne olabileceğini göremiyorum

— shadowtalker