Çok değişkenli regresyona daha fazla değişken eklemek mevcut değişkenlerin katsayılarını değiştiriyor mu?

Diyelim ki 3 değişkenten oluşan çok değişkenli (birkaç bağımsız değişken) regresyon var. Bu değişkenlerin her birinin belirli bir katsayısı vardır. 4. değişkeni tanıtmaya ve regresyonu tekrar çalıştırmaya karar verirsem, 3 orijinal değişkenin katsayıları değişecek mi?

Daha genel olarak: çok değişkenli (çoklu bağımsız değişkenler) regresyonda, belirli bir değişkenin katsayısı başka bir değişkenin katsayısından etkileniyor mu?

Bir regresyon modeli bir parametre tahmini β i değişken ise) değişecektir X, j , bir modele eklenir: $\hat\beta_i$$X_j$

1. Bu parametrenin karşılık gelen değişken ile ilişkili (modelinde arasında zaten var olan), ve$X_i$
2. cevap değişkeni ile ilişkili, $Y$

Yukarıdakilerden herhangi biri ilişkisizse, yeni bir değişken eklendiğinde tahmini beta değişmez. Onlar ilintisiz olup olmadığının Not nüfus (yani , ya da ρ ( x j , Y ) = 0 ) önemsizdir. Önemli olan her iki örnek korelasyonunun da tam olarak 0 olmasıdır . Değişkenlerin tasarımla ilişkilendirilmeyecek şekilde manipüle edildiği deneysel verilerle çalışmadığınız sürece bu aslında pratikte asla geçerli olmayacaktır. $\rho_{(X_i, X_j)}=0$ $\rho_{(X_j, Y)}=0$$0$

Ayrıca, parametrelerin değiştirdiği miktarın çok anlamlı olmayabileceğini unutmayın (en azından kısmen teorinize bağlıdır). Dahası, değiştirebilecekleri miktar yukarıdaki iki korelasyonun büyüklüğünün bir fonksiyonudur.

Farklı bir kayda göre, bu fenomeni "başka bir değişkenin katsayısından etkilenen belirli bir değişkenin katsayısı" olarak düşünmek doğru değildir. Birbirlerini etkileyen betalar değil . Bu fenomen, istatistiksel yazılımın eğim parametrelerini tahmin etmek için kullandığı algoritmanın doğal bir sonucudur. Bir durum düşünün her ikisi kaynaklanır X i ve X j sırayla birbirleriyle ilişkilidir. Eğer sadece X- ı modelde, varyasyon bazı olan Y nedeniyle X- j uygunsuz ilişkilendirilir X $Y$$X_i$$X_j$$X_i$$Y$$X_j$$X_i$. Değeri, söz konusu bu araçlar bastırıldığı; buna atlanan değişken sapma denir . $X_i$

Katsayıların değişmeyeceği matematiksel olarak mümkündür, ancak tüm bağımsız değişkenler birbirinden bağımsız olsa bile, gerçek verilerde hiçbir değişiklik olmayacaktır. Ancak, durum böyle olduğunda, değişiklikler (kesişme yeri hariç) 0 olur:

set.seed(129231)
x1 <- rnorm(100)
x2 <- rnorm(100)
x3 <- rnorm(100)
x4 <- rnorm(100)
y <- x1 + x2 + x3 + x4 + rnorm(100, 0, .2)
lm1 <- lm(y~x1+x2+x3)
coef(lm1)
lm2 <- lm(y~x1+x2+x3+x4)
coef(lm2)

Gerçek dünyada ise, bağımsız değişkenler sıklıkla birbirleriyle ilişkilidir. Bu durumda, denkleme bir 4. değişken eklenmesi diğer katsayıları, bazen çok değiştirecektir.

Sonra olası etkileşimler var .... ama bu başka bir soru.

Genel olarak, evet, bir değişken eklemek, önceki katsayıları hemen hemen her zaman değiştirir.

Gerçekten de, bu esasen, ihmal edilen ortak değişkenler nedeniyle katsayıların, hatta ters işaretin değişebileceği Simpson paradoksunun nedenidir .

Bunun gerçekleşmemesi için yeni değişkenlerin öncekilere dik olması gerekirdi. Bu genellikle tasarlanmış deneylerde olur, ancak bağımsız değişkenlerin deseninin planlanmadığı verilerde gerçekleşmesi pek olası değildir.