Çoklu regresyon için katsayıları bulmak için kovaryans matrisini kullanmanın bir yolu var mı?

Basit doğrusal regresyon için, regresyon katsayısı doğrudan varyansı-kovaryans matrisinden $C$, hesaplanır ; burada , bağımlı değişkenin indeksidir ve , açıklayıcı değişkenin indeksidir.

Eğer biri sadece kovaryans matrisine sahipse, çoklu açıklayıcı değişkenleri olan bir model için katsayıları hesaplamak mümkün müdür?

ETA: İki açıklayıcı değişken için, ve benzer şekilde . Bunu üç veya daha fazla değişkene nasıl genişleteceğimi hemen göremiyorum.

Evet, tüm değişkenlerin kovaryans matrisi - açıklayıcı ve yanıt - modele bir müdahale (sabit) terimi dahil edilmesi koşuluyla, tüm katsayıları bulmak için gerekli bilgileri içerir. (Kovaryanslar sabit terim hakkında bilgi vermemesine rağmen, veri araçlarından bulunabilir.)

analiz

Açıklayıcı değişkenler için verinin, -boyutlu sütun vektörleri ve değişkeni , rastgele bir değişkeni olduğunun düşünüldüğü sütun vektörü olarak düzenlensin . Sıradan en küçük kareler modeldeki katsayıların değerini tahmin eder$n$$x_1, x_2, \ldots, x_p$$y$$Y$$\hat\beta$

birleştirilmesiyle elde edilir sütun vektörlerinin bir içine dizisi ve doğrusal denklem sisteminin çözülmesi$p+1$$X_0 = (1, 1, \ldots, 1)^\prime, X_1, \ldots, X_p$$n \times p+1$$X$

Sisteme eşdeğerdir

Gauss ortadan kaldırılması bu sistemi çözecektir. Bu bitişik ile çalışır matrisi ve -vector bir içine dizi ve satır azalması. $p+1\times p+1$$\frac{1}{n}X^\prime X$$p+1$$\frac{1}{n}X^\prime y$$p+1 \times p+2$$A$

İlk adım . Bunun sıfır olmadığını tespit ederek , ilk sütunundaki kalan girişleri sıfırlamak için ilk satırının uygun katlarını kalan satırlardan çıkarmaya devam eder. Bu katları olacak ve giriş çıkartılmaktadır sayısı eşit olur . Bu sadece ve kovaryansı için bir formül . Dahası, konumunda bırakılan sayı , değerine eşittir.$\frac{1}{n}(X^\prime X)_{11} = \frac{1}{n}X_0^\prime X_0 = 1$$A$$\frac{1}{n}X_0^\prime X_i = \overline X_i$$A_{i+1,j+1} = X_i^\prime X_j$$\overline X_i \overline X_j$$X_i$$X_j$$i+1, p+2$$\frac{1}{n}X_i^\prime y - \overline{X_i}\overline{y}$, ile kovaryansı .$X_i$$y$

Böylece, Gauss elemesinin ilk basamağından sonra sistem çözülmeye indirgenmiştir.

ve açıkçası - tüm katsayılar kovaryans olduklarından - bu çözüm tüm değişkenlerin kovaryans matrisinden bulunabilir.

( tersinirse çözüm verilen formüller ve olduğunda bunun özel durumlarıdır. tür formüllerin açıkça yazılması, büyüdükçe gittikçe daha karmaşık hale gelecektir.Ayrıca , en azından matrisini tersine çevirmek yerine denklemler sistemi çözülerek yapılan sayısal hesaplamada yetersiz kalmaktadırlar .)$C$$C^{-1}(\text{Cov}(X_i, y))^\prime$$p=1$$p=2$$p$$C$

Sabit terim, ortalaması ile tahminlerden tahmin edilen ortalama değerler arasındaki fark olacaktır , .$y$$X\hat{\beta}$

Örnek

Açıklamak gerekirse, aşağıdaki Rkod bazı veriler oluşturur, kovaryanslarını hesaplar ve en küçük kareler katsayısı tahminlerini yalnızca bu bilgilerden elde eder. Onları en küçük kareler tahmin edicisinden elde edilen tahminlerle karşılaştırır lm.

#
# 1. Generate some data.
#
n <- 10        # Data set size
p <- 2         # Number of regressors
set.seed(17)
z <- matrix(rnorm(n*(p+1)), nrow=n, dimnames=list(NULL, paste0("x", 1:(p+1))))
y <- z[, p+1]
x <- z[, -(p+1), drop=FALSE]; 
#
# 2. Find the OLS coefficients from the covariances only.
#
a <- cov(x)
b <- cov(x,y)
beta.hat <- solve(a, b)[, 1]  # Coefficients from the covariance matrix
#
# 2a. Find the intercept from the means and coefficients.
#
y.bar <- mean(y)
x.bar <- colMeans(x)
intercept <- y.bar - x.bar %*% beta.hat  

Çıktı, iki yöntem arasındaki anlaşmayı gösterir:

(rbind(`From covariances` = c(`(Intercept)`=intercept, beta.hat),
       `From data via OLS` = coef(lm(y ~ x))))

                  (Intercept)        x1        x2
From covariances     0.946155 -0.424551 -1.006675
From data via OLS    0.946155 -0.424551 -1.006675