Doğrusal regresyon modelinden Varyans Kovaryans Matrisini Hesaplamak için Tekil Değer Ayrıştırmasını Kullanma

P regresörleri, n gözlemleri için bir tasarım matrisim var ve parametrelerin örnek varyans-kovaryans matrisini hesaplamaya çalışıyorum. Doğrudan svd kullanarak hesaplamaya çalışıyorum.

R kullanıyorum, tasarım matrisinin DVD'sini aldığımda üç bileşen alıyorum: bir matris $U$ hangisi $n \times p$, bir matris $D$ hangisi $1\times 3$ (muhtemelen özdeğerler) ve bir matris $V$ hangisi $3\times 3$. Köşegenleştirdim$D$, bir $3\times 3$ köşegenlerde 0'lı matris.

Sözde, kovaryans formülü: $V D^2 V'$ancak, matris uyuşmaz ve R'nin yerleşik işlevine bile yakın değildir vcov. Herhangi bir tavsiye / referans var mı? Bu alanda biraz vasıfsız olduğumu itiraf ediyorum.

İlk olarak, lineer regresyon modelinin çok değişkenli normallik varsayımları altında,

$$\hat{\beta} \sim \mathcal{N}( \beta, \sigma^2 (X^T X)^{-1} ) .$$

Şimdi eğer $X = U D V^T$ burada sağ taraf X'in SVD'si ise, $X^T X = V D U^T U D V = V D^2 V^T$. Bu nedenle,

$$(X^T X)^{-1} = V D^{-2} V^T .$$

Varyans tahminini hala kaçırıyoruz, ki bu

$$\hat{\sigma}^2 = \frac{1}{n - p} (y^T y - \hat{\beta}^T X^T y) .$$

Kontrol etmeme rağmen, umarım vcov geri döner$\hat{\sigma}^2 V D^{-2} V^T$.

Not: Sen yazdın$V D^2 V^T$, hangisi $X^T X$ancak varyans-kovaryans matrisi için tersine ihtiyacımız var. Ayrıca şunu da unutmayın:$R$, bu hesaplamayı yapmak için yapmanız gerekenler

vcov.matrix <- var.est * (v %*% d^(-2) %*% t(v))

matris çarpımında %*%sadece yerine kullandığımızı gözlemleyerek *. var.estyukarıda gürültünün varyansının tahmini.

(Ayrıca, $X$ tam rütbeli ve $n \geq p$boyunca. Bu durumda, yukarıdakilerde küçük değişiklikler yapmanız gerekir.)