Doğrusal regresyonda, neden yalnızca etkileşim terimleriyle ilgiliysek kuadratik terimleri eklemeliyiz?

için doğrusal bir regresyon modeliyle ilgilendiğimi varsayalım , çünkü iki ortak değişken arasındaki etkileşimin Y üzerinde bir etkisi olup olmadığını görmek istiyorum.

Bir profesörün ders notlarında (kiminle temasa geçmediğim) şunu belirtir: Etkileşim koşullarını dahil ederken, ikinci derece koşullarını eklemelisiniz. yani regresyona dahil edilmelidir.

Neden sadece etkileşimlerle ilgilendiğimizde neden ikinci derece terimleri içermelidir?

Çıkarım amacına bağlıdır. Örneğin, nedensel bir bağlamda (veya daha genel olarak, etkileşim katsayısını yorumlamak istiyorsanız) bir etkileşim olup olmadığı konusunda çıkarım yapmak istiyorsanız, profesörünüzden gelen bu öneri mantıklıdır ve aslında fonksiyonel formun SEVİL etkileşimi hakkında yanlış çıkarımlara yol açabilir .

İşte aralarında etkileşim terimi bulunmayan basit bir örnek $x_1$ ve $x_2$ yapısal denkleminde $y$, ancak, ikinci dereceden terimini $x_1$, yanlış sonuca varacaksınız $x_1$ Ile etkileşim kurar $x_2$ aslında değil.

set.seed(10)
n <- 1e3
x1 <- rnorm(n)
x2 <- x1 + rnorm(n)
y <- x1 + x2 + x1^2 + rnorm(n)
summary(lm(y ~ x1 + x2 + x1:x2))

Call:
lm(formula = y ~ x1 + x2 + x1:x2)

Residuals:
    Min      1Q  Median      3Q     Max 
-3.7781 -0.8326 -0.0806  0.7598  7.7929 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept)  0.30116    0.04813   6.257 5.81e-10 ***
x1           1.03142    0.05888  17.519  < 2e-16 ***
x2           1.01806    0.03971  25.638  < 2e-16 ***
x1:x2        0.63939    0.02390  26.757  < 2e-16 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.308 on 996 degrees of freedom
Multiple R-squared:  0.7935,    Adjusted R-squared:  0.7929 
F-statistic:  1276 on 3 and 996 DF,  p-value: < 2.2e-16

Bu, basitçe atlanan değişken önyargı durumu olarak yorumlanabilir ve burada $x_1^2$atlanan değişkendir. Geri dönüp kareli terimi regresyonunuza dahil ederseniz, görünen etkileşim kaybolur.

summary(lm(y ~ x1 + x2 + x1:x2 + I(x1^2)))   

Call:
lm(formula = y ~ x1 + x2 + x1:x2 + I(x1^2))

Residuals:
    Min      1Q  Median      3Q     Max 
-3.4574 -0.7073  0.0228  0.6723  3.7135 

Coefficients:
              Estimate Std. Error t value Pr(>|t|)    
(Intercept) -0.0419958  0.0398423  -1.054    0.292    
x1           1.0296642  0.0458586  22.453   <2e-16 ***
x2           1.0017625  0.0309367  32.381   <2e-16 ***
I(x1^2)      1.0196002  0.0400940  25.430   <2e-16 ***
x1:x2       -0.0006889  0.0313045  -0.022    0.982    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 1.019 on 995 degrees of freedom
Multiple R-squared:  0.8748,    Adjusted R-squared:  0.8743 
F-statistic:  1739 on 4 and 995 DF,  p-value: < 2.2e-16

Tabii ki, bu akıl yürütme sadece ikinci dereceden terimler için değil, genel olarak fonksiyonel formun yanlış tanımlanması için de geçerlidir. Buradaki amaç, etkileşimi değerlendirmek için koşullu beklenti işlevini uygun şekilde modellemektir. Kendinizi doğrusal regresyon ile modelleme ile sınırlıyorsanız, bu doğrusal olmayan terimleri manuel olarak eklemeniz gerekir. Ancak bir alternatif, örneğin çekirdek sırt regresyonu gibi daha esnek regresyon modellemesi kullanmaktır .

Cevabınızda listelediğiniz iki model , etkisinin nasıl olduğunu netleştirmek için yeniden ifade edilebilir .$X_1$ bağlı olduğu varsayılır $X_2$ (veya başka bir şekilde) her modelde.

İlk model şu şekilde yeniden ifade edilebilir:

ki bu, bu modelde, $X1$ üzerinde doğrusal bir etkiye sahip olduğu varsayılmaktadır. $Y$ (etkisini kontrol etmek $X_2$) ancak bu doğrusal etkinin büyüklüğü - eğim katsayısı tarafından yakalanır $X_1$ - bir fonksiyonu olarak doğrusal olarak değişir $X_2$. Örneğin,$X_1$ üzerinde $Y$ değerleri olarak büyüklüğü artabilir $X_2$ artırmak.

İkinci model şu şekilde yeniden ifade edilebilir:

ki bu, bu modelde, $X_1$ üzerinde $Y$ (etkisini kontrol etmek $X_2$) doğrusal olmaktan ziyade ikinci dereceden olduğu varsayılır. Bu ikinci dereceden etki,$X_1$ ve $X_1^2$modelinde. Katsayısı$X_1^2$ bağımsız olduğu varsayılır $X_2$, katsayısı $X_1$ doğrusal olarak bağımlı olduğu varsayılır $X_2$.

Her iki modeli kullanmak, etkisinin doğası hakkında tamamen farklı varsayımlar yaptığınızı ima eder. $X_1$ üzerinde $Y$ (etkisini kontrol etmek $X_2$).

Genellikle insanlar ilk modele uyar. Daha sonra bu modeldeki kalıntıları$X_1$ ve $X_2$Dönüşlerde. Kalıntılar, kalıntılarda kuadratik bir patern ortaya koyarsa,$X_1$ ve / veya $X_2$, model buna göre genişletilebilir, böylece $X_1^2$ ve / veya $X_2^2$ (ve muhtemelen etkileşimleri).

Tutarlılık için kullandığınız gösterimi basitleştirdiğimi ve her iki modelde de hata terimini açık hale getirdiğimi unutmayın.