2. IV'ün eklenmesi 1. IV'ü nasıl önemli hale getirir?

Muhtemelen basit bir soru olan bir şeye sahibim, ama şu anda beni şaşırtıyor, bu yüzden bana yardım edebileceğini umuyorum.

Bir bağımsız değişken ve bir bağımlı değişken içeren en küçük kareler regresyon modelim var. İlişki anlamlı değil. Şimdi ikinci bir bağımsız değişken ekliyorum. Şimdi ilk bağımsız değişken ve bağımlı değişken arasındaki ilişki önemli hale gelir.

Bu nasıl çalışıyor? Bu muhtemelen benim anlayışla ilgili bir sorun olduğunu gösteriyor, ama benim için, fakat bu ikinci bağımsız değişkeni eklemenin birinciyi nasıl önemli kılabileceğini anlamıyorum.

Eşdoğrusallık (yordayıcı değişkenlerin) olası bir açıklama olsa da, aydınlatıcı bir açıklama olmadığını söylemek isterim, çünkü koleksiyonluluğun yordayıcılar arasında "ortak bilgiler" ile ilgili olduğunu biliyoruz, bu nedenle taraf hakkında gizemli veya sezgisel bir şey yoktur. modele ikinci korelasyonlu bir tahmin yapmanın etkisi.

O zaman gerçekten ortogonal olan iki yordayıcı örneğini ele alalım : aralarında kesinlikle bir eşliklilik yoktur. Anlamlılıkta dikkate değer bir değişiklik hala olabilir.

Tahmin değişkenleri ve X 2'yi belirtin ve Y'nin belirleyiciyi adlandırmasına izin verin . Gerilemesi Y karşı X 1 varyasyon zaman önemli olduğu başarısız olur Y zaman onun ortalama etrafında ölçüde azalmayacak x 1 bağımsız değişken olarak kullanılır. Bu varyasyon kuvvetle ikinci değişken ilişkilendirildiğinde X 2 , bununla birlikte, durum değişir. Bu çoklu regresyon hatırlayın Y karşı X 1 ve X, 2 eşdeğer$X_1$$X_2$$Y$$Y$$X_1$$Y$$X_1$$X_2$$Y$$X_1$$X_2$

1. Ayrı bir gerileme ve X 1 karşı X 2 .$Y$$X_1$$X_2$

2. artıklarını, X 1 artıklarına karşı gerileyin .$Y$$X_1$

İlk aşama artıklar etkisini kaldırmış . Zaman X, 2 ile yakından ilişkili olduğu Y , bu, daha önce maskelenmiş olan bir varyasyon, nispeten az miktarda açığa çıkarabilir. Eğer bu varyasyon ile ilişkili olan X 1 , biz önemli bir sonuç elde ederiz.$X_2$$X_2$$Y$$X_1$

---

Bütün bunlar belki somut bir örnekle açıklığa kavuşturulabilir. Başlamak için, en kullanalım Rbazı bağımsız rasgele hata ile birlikte iki ortogonal bağımsız değişkenleri oluşturmak için :$\varepsilon$

n <- 32
set.seed(182)
u <-matrix(rnorm(2*n), ncol=2)
u0 <- cbind(u[,1] - mean(u[,1]), u[,2] - mean(u[,2]))
x <- svd(u0)$u
eps <- rnorm(n)

( svdAşama matrisinin iki sütun sağlar x(temsil ve x 2 ) dik açılı olan, herhangi bir sonraki sonuçların muhtemel bir açıklaması olarak doğrudaşlığa iktidar.)$X_1$$X_2$

Daha sonra, oluşturma lineer bir kombinasyonu olarak X 'in ve hata. Karşı sezgisel davranışı üretecek katsayıları ayarladım:$Y$$X$

y <-  x %*% c(0.05, 1) + eps * 0.01

Bu modele göre, bir gerçekleştirilmesidir ile , n = 32 durumlarda.$Y \sim_{iid} N(0.05 X_1 + 1.00 X_2, 0.01^2)$$n=32$

Söz konusu iki regresyona bakın. Birincisi , gerileme karşı X 1 Yalnızca:$Y$$X_1$

> summary(lm(y ~ x[,1]))
...
             Estimate Std. Error t value Pr(>|t|)
(Intercept) -0.002576   0.032423  -0.079    0.937
x[, 1]       0.068950   0.183410   0.376    0.710

0.710 yüksek p-değeri göstermektedir tamamen non-anlamlıdır.$X_1$

Sonraki , geriletir karşı X 1 ve X 2 :$Y$$X_1$$X_2$

> summary(lm(y ~ x))
...
             Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.002576   0.001678  -1.535    0.136    
x1           0.068950   0.009490   7.265 5.32e-08 ***
x2           1.003276   0.009490 105.718  < 2e-16 ***

Birden mevcudiyetinde , X, 1 olduğu kuvvetle iki değişken için sıfıra yakın p-değerleri ile gösterildiği gibi, önemli.$X_2$$X_1$

Bu davranış görselleştirmek değişken bir dağılım matrisi vasıtasıyla , X 2 , ve Y ile birlikte artıklar yukarıda çoklu regresyon iki basamaklı olarak karakterize. Çünkü X 1 ve X, 2 ortogonaldir, X, 1 artıklar aynı olacaktır X 1 ve bu nedenle yeniden çizilmesi gerek yoktur. Biz artıklarını içerir Y karşı X 2 , bu şekil veren, dağılım matrisi içinde:$X_1$$X_2$$Y$$X_1$$X_2$$X_1$$X_1$$Y$$X_2$

lmy <- lm(y ~ x[,2])
d <- data.frame(X1=x[,1], X2=x[,2], Y=y, RY=residuals(lmy))
plot(d)

İşte (biraz titizlikle) bir render:

Bu grafik matrisi, üstten ve soldan sağa doğru sayacağım dört satır ve dört sütuna sahiptir.

Farkına varmak:

• , ikinci satır ve birinci sütunda dağılım bu değişkenlerin ortogonal teyit: en küçük kareler hattı yataydır ve korelasyon sıfırdır.$(X_1, X_2)$

• , üçüncü satırda dağılım ve birinci kolon ilk regresyon ile rapor hafif ama tamamen önemsiz bir ilişki sergiler Y karşı X 1 . (Korelasyon katsayısı, ρ , sadece 0.07'dir ).$(X_1, Y)$$Y$$X_1$$\rho$$0.07$

• , üçüncü satırda dağılım ve ikinci kolon arasında güçlü bir ilişki gösterir Y ve ikinci bir bağımsız değişken. (Korelasyon katsayısı 0,996'dır ).$(X_2, Y)$$Y$$0.996$

• Dördüncü satır arasındaki ilişkiyi ele artıkların arasında (karşı gerilediği X 2 ve diğer değişkenler):$Y$$X_2$

  • Dik bölüm artıkları (nispeten) oldukça küçük olduğunu göstermektedir: Kolayca ScatterPlot onları göremeyecek olabilir karşı X 2 .$Y$$X_2$

  • Artıklar olan güçlü bir korelasyon ( ρ = 0.80 ). X 2'ye olan gerileme , daha önce bu gizli davranışı gizlemiştir.$X_1$$\rho = 0.80$$X_2$

  • Yapım olarak, artıkları arasında hiçbir kalan korelasyon .$X_2$

  • ve bu artıklar arasında çok az korelasyon vardır ( ρ = 0.09 ). Bu, artıkların nasıl Y'nin kendisinden tamamen farklı davranabileceğini gösterir . Budur nasıl X 1 aniden gerileme önemli katılımcı olarak ortaya çıkabilmektedir.$Y$$\rho = 0.09$$Y$$X_1$

İki tahminleri, bu Son olarak, remarking değer (eşit iki katsayısı 0.06895 uzak olmayan amaçlanan değerinden, 0.05 ) kabul sadece için X 1 ve X, 2 ortogonaldir. Tasarlanan deneyler dışında, diklik için tam olarak tutmak nadirdir. Ortogonallıkten ayrılma genellikle katsayı tahminlerinin değişmesine neden olur.$X_1$$0.06895$$0.05$$X_1$$X_2$

Nereye bakacağınızı biliyorsanız, bu konunun daha önce bu sitede oldukça iyi konuşulduğunu düşünüyorum. Bu yüzden muhtemelen daha sonra diğer sorulara bazı bağlantılar içeren bir yorum ekleyeceğim veya bulamıyorum eğer daha fazla bir açıklama yapamayacaksam bunu düzenleyebilirim.

İki temel olasılık vardır: Birincisi, diğer IV kalan değişkenliğin bir kısmını emebilir ve böylece ilk IV'ün istatistiksel testinin gücünü artırabilir. İkinci olasılık, bir baskılayıcı değişkenine sahip olmanızdır. Bu oldukça sezgisel bir konudur, ancak burada *, burada veya bu mükemmel CV başlığında bazı bilgiler bulabilirsiniz .

_{* Bastırıcı değişkenleri açıklayan kısma gelmek için en alttan sonuna kadar okumanız gerektiğini, sadece ileriye atlayabileceğinize dikkat edin, ama her şeyi okuyarak en iyi şekilde hizmet edeceksiniz.}

---

Düzenleme: Söz verildiği gibi, diğer IV'ün artık değişkenliklerin bir kısmını nasıl emebileceği ve bu nedenle ilk IV'ün istatistiksel testinin gücünü artıracağı konusundaki açıklamamıza bir açıklama ekliyorum. @whuber etkileyici bir örnek ekledi, ancak bu olguyu farklı bir şekilde açıklayan ücretsiz bir örnek ekleyebileceğimi düşündüm, bu da bazı insanların bu olayı daha net bir şekilde anlamalarına yardımcı olabilir. Ek olarak, ikinci IV'ün daha güçlü bir şekilde ilişkilendirilmesi gerekmediğini göstermekteyim (pratikte hemen hemen her zaman bu fenomenin gerçekleşmesi için olacak).

Bir regresyon modelindeki eş değişkenler, parametre tahminini standart hataya bölerek testi ile test edilebilir veya karelerin toplamlarını bölümleyerek F- testi ile test edilebilir . Tip III SS kullanıldığında, bu iki test yöntemi eşdeğer olacaktır (daha fazla SS türü ve ilgili testler için, buradaki cevabımı okumakta yardımcı olabilir: Tip I SS nasıl yorumlanır ). Sadece regresyon yöntemleri hakkında bilgi edinmek başlayan olanlar için, t insanların anlaması kolay gibi görünüyor, çünkü-test genellikle odak vardır. Ancak, bu ANOVA masaya bakarak daha yararlı olduğunu düşünüyorum bir durumdur. Basit bir regresyon modeli için temel ANOVA tablosunu hatırlayalım: $t$$F$$t$

$$\begin{array}{lllll} &\text{Source} &\text{SS} &\text{df} &\text{MS} &\text{F} \\ \hline &x_1 &\sum(\hat y_i-\bar y)^2 &1 &\frac{\text{SS}_{x_1}}{\text{df}_{x_1}} &\frac{\text{MS}_{x_1}}{\text{MS}_{\rm res}} \\ &\text{Residual} &\sum(y_i-\hat y_i)^2 &N-(1+1) &\frac{\text{SS}_{\rm res}}{\text{df}_{\rm res}} \\ &\text{Total} &\sum(y_i-\bar y)^2 &N-1 \end{array}$$

Burada ortalamasıdır y , y i gözlenen değer y (örneğin, hasta) birimi için i , y ı birimi için modelin tahmin edilen değeri olan I ve K çalışmada birimlerinin toplam sayısıdır. İki ortogonal değişkenli çoklu regresyon modeliniz varsa, ANOVA tablosu aşağıdaki gibi inşa edilebilir: $\bar y$$y$$y_i$$y$$i$$\hat y_i$$i$$N$

$$\begin{array}{lllll} &\text{Source} &\text{SS} &\text{df} &\text{MS} &\text{F} \\ \hline &x_1 &\sum(\hat y_{x_{1i}\bar x_2}-\bar y)^2 &1 &\frac{\text{SS}_{x_1}}{\text{df}_{x_1}} &\frac{\text{MS}_{x_1}}{\text{MS}_{\rm res}} \\ &x_2 &\sum(\hat y_{\bar x_1x_{2i}}-\bar y)^2 &1 &\frac{\text{SS}_{x_2}}{\text{df}_{x_2}} &\frac{\text{MS}_{x_2}}{\text{MS}_{\rm res}} \\ &\text{Residual} &\sum(y_i-\hat y_i)^2 &N-(2+1) &\frac{\text{SS}_{\rm res}}{\text{df}_{\rm res}} \\ &\text{Total} &\sum(y_i-\bar y)^2 &N-1 \end{array}$$

Burada Y x 1 i ° x 2 , örneğin, birim için tahmin edilen değer, i için gözlenen değer eğer x 1 olduğu gerçek gözlemlenen değer, ancak için gözlenen değer x 2 ortalamasıydı x 2 . Bu Tabii ki, bu mümkün ˉ x 2 olduğu gözlenen değer x 2$\hat y_{x_{1i}\bar x_2}$$i$$x_1$$x_2$$x_2$$\bar x_2$ $x_2$Bazı gözlemler için, bu durumda yapılacak hiçbir değişiklik yoktur, ancak bu genellikle böyle olmaz. ANOVA tablosu oluşturmak için bu yöntemin sadece tüm değişkenlerin ortogonal olması durumunda geçerli olduğunu unutmayın; Bu, açıklama amacıyla oluşturulan oldukça basitleştirilmiş bir durumdur.

Eğer aynı verilerin olan ve olmayan bir modele uyması için kullandığımız durumu göz önünde bulundurursak, gözlemlenen y değerleri ve same y aynı olacaktır. Bu nedenle, toplam SS her iki ANOVA tablosunda aynı olmalıdır. Ek olarak, eğer x 1 ve x 2 birbirlerine dikse, S S x 1 her iki ANOVA tablosunda da aynı olacaktır. Peki, tablodaki x 2 ile ilişkili kareler toplamı nasıl olabilir ? Toplam SS ve S S x 1 ise nereden geldiler?$x_2$$y$$\bar y$$x_1$$x_2$$SS_{x_1}$$x_2$$SS_{x_1}$aynıdır? Cevap dan geldikleridir . Df x 2 , aynı zamanda alınan df res . $SS_\text{res}$$\text{df}_{x_2}$$\text{df}_\text{res}$

Şimdi arasında -test x 1 olan M G x 1 bölü M S res her iki durumda da. Yana M G x 1 ile aynıdır, bu testin önemli fark değişikliği gelir M S res bir tahsis edilmiştir, çünkü, daha az SS başlatan iki şekilde değişmiş, x 2 , ancak olanlardır daha az df'ye bölünür, çünkü bazı serbestlik dereceleri de x 2'ye tahsis edilmiştir . F- testinin önemindeki / gücündeki değişiklik (ve eşdeğerde$F$$x_1$$MS_{x_1}$$MS_\text{res}$$MS_{x_1}$$MS_\text{res}$$x_2$$x_2$$F$ bu durumda, bu testte, bu iki değişikliğin nasıl bir değişim sağladığından kaynaklanmaktadır. Daha SS verilir ise x 2 verilir df göre, x 2 , ardından M S res azalacağı ve F ile ilişkili x 1 artırmak ve p daha belirgin olmak için. $t$$x_2$$x_2$$MS_\text{res}$$F$$x_1$$p$

Bunun gerçekleşmesi için etkisinin x 1'den büyük olması gerekmez , ancak değilse, p - değerindeki kaymalar oldukça küçük olacaktır. Önemsizlik ve önemlilik arasında geçiş yapmanın tek yolu, p değerlerinin alfa'nın her iki tarafında da biraz olması. İşte kodlanmış bir örnek : $x_2$$x_1$$p$$p$R

x1 = rep(1:3, times=15)
x2 = rep(1:3, each=15)
cor(x1, x2)     # [1] 0
set.seed(11628)
y       = 0 + 0.3*x1 + 0.3*x2 + rnorm(45, mean=0, sd=1)
model1  = lm(y~x1)
model12 = lm(y~x1+x2)

anova(model1)
#  ...
#           Df Sum Sq Mean Sq F value  Pr(>F)  
# x1         1  5.314  5.3136  3.9568 0.05307 .
# Residuals 43 57.745  1.3429                  
#  ...
anova(model12)
#  ...
#           Df Sum Sq Mean Sq F value  Pr(>F)  
# x1         1  5.314  5.3136  4.2471 0.04555 *
# x2         1  5.198  5.1979  4.1546 0.04785 *
# Residuals 42 52.547  1.2511                  
#  ...

Aslında, hiç önemli olmak zorunda değildir. Düşünmek: $x_2$

set.seed(1201)
y       = 0 + 0.3*x1 + 0.3*x2 + rnorm(45, mean=0, sd=1)
anova(model1)
# ...
#           Df Sum Sq Mean Sq F value  Pr(>F)  
# x1         1  3.631  3.6310  3.8461 0.05636 .
# ...
anova(model12)
# ...
#           Df Sum Sq Mean Sq F value  Pr(>F)  
# x1         1  3.631  3.6310  4.0740 0.04996 *
# x2         1  3.162  3.1620  3.5478 0.06656 .
# ...

Bunlar kuşkusuz @ whuber'un gönderisindeki dramatik örnek gibi değil, ancak insanların burada neler olduğunu anlamalarına yardımcı olabilir.

OP'nin sorusu iki farklı şekilde yorumlanabilirmiş gibi geliyor:

1. Matematiksel olarak, OLS nasıl çalışır, öyle ki bağımsız bir değişken eklemek sonuçları beklenmedik şekilde değiştirebilir mi?

2. Bir değişken ekleyerek modelimi nasıl değiştirebilirim, modeldeki başka bir bağımsız değişkenin etkisini değiştirebilir miyim?

1. soru için zaten birkaç iyi cevap var. Ve 2. soru, OP'nin 1. soru sorması gerektiğini varsaydıkları uzmanlar için çok açık olabilir. Fakat bence # 2 numaralı soru şöyle bir cevabı hak ediyor:

Bir örnek ile başlayalım. Bir dizi çocuğun boyları, yaşları, cinsiyetleri, vb. Olduğunu ve boylarını tahmin etmek için bir regresyon yapmak istediğinizi söyleyin.

Cinsiyeti bağımsız değişken olarak kullanan saf bir modelle başlarsınız. Ve bu istatistiksel olarak anlamlı değil. (Nasıl olabilir, 3 yaşları ve gençleri karıştırıyorsunuz.)

O zaman yaş eklersiniz ve aniden yalnızca yaş önemli değildir, aynı zamanda cinsiyet de olur. Bu nasıl olabildi?

Tabii ki benim örneğimde, yaşın bir çocuğun / gencin boyunda önemli bir faktör olduğunu açıkça görebilirsiniz. Muhtemelen verilerinizin en önemli faktörüdür. Cinsiyet, özellikle büyük çocuklar ve yetişkinler için de önemli olabilir, ancak tek başına cinsiyet, bir çocuğun ne kadar uzun olduğunun zayıf bir modelidir.

Yaş artı cinsiyet, görev için uygun olan makul bir (tabii ki basitleştirilmiş) modeldir. Başka veriler eklerseniz (yaş ve cinsiyet etkileşimi, diyet, ebeveynlerin boyu vb.) Daha iyi bir model oluşturabilirsiniz, ki bu elbette bir çocuğun boyunu belirleyen faktörlerin konakçılarına kıyasla daha da basitleştirilebilir. ama sonra yine tüm modeller gerçekliğin basitleştirilmiş versiyonlarıdır. (1: 1 ölçeğinde bir dünya haritası bir gezgin için fazla kullanışlı değil.)

Orijinal modeliniz (sadece cinsiyet) çok basitleştirildi - temelde kırılması basitleştirildi. Ancak bu, cinsiyetin daha iyi bir modelde faydalı olmadığı anlamına gelmez.

EDIT: Gung'un önerisini ekledi: Yaş ve cinsiyet arasındaki etkileşim terimi.

Bu konu zaten üç mükemmel cevaba sahip (her birine +1). Cevabım geniş bir yorum ve @gung tarafından yapılan noktaya gösterilmektedir (bu beni anlamak için biraz zaman aldı):

İki temel olasılık vardır: Birincisi, diğer IV kalan değişkenliğin bir kısmını emebilir ve böylece ilk IV'ün istatistiksel testinin gücünü artırabilir. İkinci olasılık, bir baskılayıcı değişkenine sahip olmanızdır.

$x_1$$x_2$$y$$n$$\mathbb R^n$$\mathbf y$$\mathbf x_1$$\mathbf x_2$("şapka matrisi" basitçe projektördür). Bu yaklaşıma yabancı olan okuyucular örneğin İstatistiki Öğrenmenin Öğeleri , Kısım 3.2 veya diğer birçok kitapta bulunabilir.

"Artırma"

Aşağıdaki Şekil, gung tarafından listelenen her iki olasılığı da gösterir. İlk başta sadece mavi kısmı düşünün (yani tüm kırmızı çizgileri yok sayın):

$\mathbf x_1$$\mathbf x_2$$X$$\mathbf y$$\hat y$

$\mathbf x_2$$\mathbf y$$\mathbf x_1$$\alpha$$90^\circ$$y$$x_1$$x_1$

$x_2$$\mathbf x_1$$\mathbf x_2$$x_1$$x_2$$x_2$$y$$\beta$$\alpha$$90^\circ$$x_1$

Bunu ortaya koymanın bir başka yolu da, testin şu anda OF ile OG arasındaki uzunluğunu karşılaştırmasıdır; daha önce olduğu gibi OC'yi değil; OF, OC ile karşılaştırıldığında küçük ve "önemsiz" olmakla birlikte, OG ile karşılaştırıldığında "anlamlı" olmak için yeterince büyüktür.

Bu tam olarak @whuber, @gung ve @Wayne tarafından cevaplarında sunulan durumdur. Bu etkinin regresyon literatüründe standart bir adı olup olmadığını bilmiyorum, bu yüzden buna "geliştirme" diyeceğim.

Bastırma

$\alpha=90^\circ$$\beta=90^\circ$$x_1$

Bastırmada öyle değil.

$x_3$$x_1$$x_2$$\mathbf x_3$$X$$\mathbf x_1$$x_3$$x_1$$X$$\mathbf y$

$x_1$$x_1$$y$