arasındaki ilişki

OLS regresyonlarının ile ilgili çok temel bir soru$R^2$

1. OLS regresyonunu çalıştırın y ~ x1, bir , diyelim ki 0.3$R^2$
2. OLS regresyonunu çalıştırın y ~ x2, başka bir , diyelim 0.4$R^2$
3. şimdi y ~ x1 + x2 gerilemesi yapıyoruz, bu regresyonun R karesi ne değer olabilir?

Bence çoklu regresyon için 0.4'den az olmaması gerektiği açıktır , ancak 0.7'den fazla olması mümkün mü?$R^2$

İkinci regresör, basitçe ilkinin bağımlı değişkente açıklamayı başaramadığı şeyi telafi edebilir. Sayısal bir örnek:

Üret x1Genelliği kaybetmeden bir standart normal regresör, örnek büyüklüğü 20 olarak almak$y_i=0.5x_{1i}+u_i$, nerede $u_i$ dır-dir $N(0,1)$de. Şimdi, ikinci regressörü x2basitçe bağımlı değişken ve ilk regresör arasındaki fark olarak kabul edin.

n <- 20 
x1 <- rnorm(n)

y <- .5*x1 + rnorm(n)

x2 <- y - x1
summary(lm(y~x1))$r.squared
summary(lm(y~x2))$r.squared
summary(lm(y~x1+x2))$r.squared

Hangi değişkenin önce modele girdiğine bağlı olarak 0.3 veya 0.4 olan alt sınır dışında, söyleyebileceğiniz çok şey yoktur. Ne kadar$R^2$artış büyük ölçüde ikinci değişkenin modele getirdiği bilgilere bağlıdır. Bilgi ile, elbette yanıtta açıklanan varyasyonu kastediyoruz.

Bu konuda kritik olan bir kavram var ve bu da yordayıcılar arasındaki korelasyon . Eğer korelasyon büyükse, yeni değişken sadece modele hiçbir şey getirmeyecek, aynı zamanda mevcut değişkenleriniz için çıkarımı da zorlaştıracaktır, çünkü tahminler kesinleşmeyecektir (çoklu doğrusallık). İdeal olarak yeni değişkenin diğerlerine dik olmasını tercih etmeliyiz . Bunun gözlemsel çalışmalarda gerçekleşme şansı düşüktür, ancak örneğin kendi denemenizi oluştururken kontrollü ortamlarda gerçekleştirilebilir.

Ancak bir değişkenin modele getireceği yeni bilgileri tam olarak nasıl ölçersiniz? Tüm bu hesaba katar Geniş ölçüde kullanılan ölçüdür kısmi $R^2$. Doğrusal modelin ANOVA'sına aşina iseniz, bu, modelinize bu değişkeni dahil ederek gerçekleştireceğiniz Hataların Kareleri Toplamındaki oransal düşüşten başka bir şey değildir . Yüksek yüzdeler arzu edilirken, düşük yüzdeler muhtemelen bunun doğru hareket şekli olup olmadığını düşünmenizi sağlayacaktır.

@Cardinal'in yorumlarda belirttiği gibi, yeni belirleme katsayınız 1 kadar yüksek olabilir. 0.400001 kadar düşük olabilir. Ek bilgi olmadan anlatmanın bir yolu yoktur.

Çoklu doğrusal regresyonda belirleme katsayısı: Çoklu doğrusal regresyonda belirleme katsayısı, ikinci dereceden form kullanılarak değişkenler için ikili korelasyonlar cinsinden yazılabilir:

$$R^2 = \boldsymbol{r}_{\mathbf{y},\mathbf{x}}^\text{T} \boldsymbol{r}_{\mathbf{x},\mathbf{x}}^{-1} \boldsymbol{r}_{\mathbf{y},\mathbf{x}},$$

nerede $\boldsymbol{r}_{\mathbf{y},\mathbf{x}}$ cevap vektörü ve açıklayıcı vektörlerin her biri arasındaki korelasyonların vektörüdür ve $\boldsymbol{r}_{\mathbf{x},\mathbf{x}}$açıklayıcı vektörler arasındaki korelasyon matrisidir (bunun hakkında daha fazla bilgi için bu ilgili soruya bakınız ). İki değişkenli bir regresyon durumunda:

$$\begin{equation} \begin{aligned} R^2 &= \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix}^\text{T} \begin{bmatrix} 1 & r_{X_1,X_2} \\[6pt] r_{X_1,X_2} & 1 \\[6pt] \end{bmatrix}^{-1} \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix} \\[6pt] &= \frac{1}{1-r_{X_1,X_2}^2} \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix}^\text{T} \begin{bmatrix} 1 & -r_{X_1,X_2} \\[6pt] -r_{X_1,X_2} & 1 \\[6pt] \end{bmatrix} \begin{bmatrix} r_{Y,X_1} \\[6pt] r_{Y,X_2} \\[6pt] \end{bmatrix} \\[6pt] &= \frac{1}{1-r_{X_1,X_2}^2} ( r_{Y,X_1}^2 + r_{Y,X_2}^2 - 2 r_{X_1,X_2} r_{Y,X_1} r_{Y,X_2} ). \end{aligned} \end{equation}$$

Sorunuzdaki tek değişkenli korelasyonların yönlerini belirtmediniz, bu nedenle genelliği kaybetmeden, $D \equiv \text{sgn} (r_{Y,X_1}) \cdot \text{sgn} (r_{Y,X_2}) \in \{ -1, +1 \}$. Değerlerinizi değiştirme$r_{Y,X_1}^2 = 0.3$ ve $r_{Y,X_2}^2 = 0.4$ verim:

$$R^2 = \frac{0.7 - 2 \sqrt{0.12} \cdot D \cdot r_{X_1,X_2}}{1-r_{X_1,X_2}^2}.$$

Mümkün $R^2 > 0.7$, çünkü iki değişkenin birleştirilmiş bilgisinin parçalarının toplamından daha fazla olması mümkündür. Bu ilginç fenomene 'geliştirme' denir (bakınız örn. Lewis ve Escobar 1986 ).