Eş zamanlılık teşhisi sadece etkileşim terimi dahil edildiğinde problemlidir

ABD ülkelerinde bir gerileme yürüttüm ve 'bağımsız' değişkenlerimde eşitliğini kontrol ediyorum. Belsley, Kuh ve Welsch Regresyon Teşhisi , Durum Endeksi ve Varyans Ayrışma Oranlarına bakmayı önerir:

library(perturb)
## colldiag(, scale=TRUE) for model with interaction
Condition
Index   Variance Decomposition Proportions
           (Intercept) inc09_10k unins09 sqmi_log pop10_perSqmi_log phys_per100k nppa_per100k black10_pct hisp10_pct elderly09_pct inc09_10k:unins09
1    1.000 0.000       0.000     0.000   0.000    0.001             0.002        0.003        0.002       0.002      0.001         0.000            
2    3.130 0.000       0.000     0.000   0.000    0.002             0.053        0.011        0.148       0.231      0.000         0.000            
3    3.305 0.000       0.000     0.000   0.000    0.000             0.095        0.072        0.351       0.003      0.000         0.000            
4    3.839 0.000       0.000     0.000   0.001    0.000             0.143        0.002        0.105       0.280      0.009         0.000            
5    5.547 0.000       0.002     0.000   0.000    0.050             0.093        0.592        0.084       0.005      0.002         0.000            
6    7.981 0.000       0.005     0.006   0.001    0.150             0.560        0.256        0.002       0.040      0.026         0.001            
7   11.170 0.000       0.009     0.003   0.000    0.046             0.000        0.018        0.003       0.250      0.272         0.035            
8   12.766 0.000       0.050     0.029   0.015    0.309             0.023        0.043        0.220       0.094      0.005         0.002            
9   18.800 0.009       0.017     0.003   0.209    0.001             0.002        0.001        0.047       0.006      0.430         0.041            
10  40.827 0.134       0.159     0.163   0.555    0.283             0.015        0.001        0.035       0.008      0.186         0.238            
11  76.709 0.855       0.759     0.796   0.219    0.157             0.013        0.002        0.004       0.080      0.069         0.683            

## colldiag(, scale=TRUE) for model without interaction
Condition
Index   Variance Decomposition Proportions
           (Intercept) inc09_10k unins09 sqmi_log pop10_perSqmi_log phys_per100k nppa_per100k black10_pct hisp10_pct elderly09_pct
1    1.000 0.000       0.001     0.001   0.000    0.001             0.003        0.004        0.003       0.003      0.001        
2    2.988 0.000       0.000     0.001   0.000    0.002             0.030        0.003        0.216       0.253      0.000        
3    3.128 0.000       0.000     0.002   0.000    0.000             0.112        0.076        0.294       0.027      0.000        
4    3.630 0.000       0.002     0.001   0.001    0.000             0.160        0.003        0.105       0.248      0.009        
5    5.234 0.000       0.008     0.002   0.000    0.053             0.087        0.594        0.086       0.004      0.001        
6    7.556 0.000       0.024     0.039   0.001    0.143             0.557        0.275        0.002       0.025      0.035        
7   11.898 0.000       0.278     0.080   0.017    0.371             0.026        0.023        0.147       0.005      0.038        
8   13.242 0.000       0.001     0.343   0.006    0.000             0.000        0.017        0.129       0.328      0.553        
9   21.558 0.010       0.540     0.332   0.355    0.037             0.000        0.003        0.003       0.020      0.083        
10  50.506 0.989       0.148     0.199   0.620    0.393             0.026        0.004        0.016       0.087      0.279

?HH::vif VIF> 5’in sorunlu olduğunu öne sürüyor

library(HH)
## vif() for model with interaction
        inc09_10k           unins09          sqmi_log pop10_perSqmi_log      phys_per100k      nppa_per100k       black10_pct        hisp10_pct 
         8.378646         16.329881          1.653584          2.744314          1.885095          1.471123          1.436229          1.789454 
    elderly09_pct inc09_10k:unins09 
         1.547234         11.590162 

## vif() for model without interaction
        inc09_10k           unins09          sqmi_log pop10_perSqmi_log      phys_per100k      nppa_per100k       black10_pct        hisp10_pct 
         1.859426          2.378138          1.628817          2.716702          1.882828          1.471102          1.404482          1.772352 
    elderly09_pct 
         1.545867

John Fox Regresyon Teşhisi , VIF'in kareköküne bakmayı önerir:

library(car)
## sqrt(vif) for model with interaction
        inc09_10k           unins09          sqmi_log pop10_perSqmi_log      phys_per100k      nppa_per100k       black10_pct        hisp10_pct 
         2.894589          4.041025          1.285917          1.656597          1.372987          1.212898          1.198428          1.337705 
    elderly09_pct inc09_10k:unins09 
         1.243879          3.404433 
## sqrt(vif) for model without interaction
        inc09_10k           unins09          sqmi_log pop10_perSqmi_log      phys_per100k      nppa_per100k       black10_pct        hisp10_pct 
         1.363608          1.542121          1.276251          1.648242          1.372162          1.212890          1.185108          1.331297 
    elderly09_pct 
         1.243329

İlk iki durumda (net bir kesim önerildiğinde), model sadece etkileşim terimi dahil edildiğinde sorunludur.

Etkileşim terimi olan model bu noktaya kadar benim tercih ettiğim özellikti.

Verilerin bu tuhaflığı verilen iki sorum var:

Etkileşim terimi her zaman verilerin eşitliğini kötüleştirir mi?
Etkileşim terimi olmayan iki değişken eşiğin üstünde olmadığından, etkileşim modeli ile modeli kullanıyorum. Özellikle, bunun doğru olabileceğini düşünmemin nedeni, genel olarak diğer katsayıları tuttuğum katsayıları (negatif binom model) yorumlamak için King, Tomz ve Wittenberg (2000) yöntemini kullanmam. Ben geçtiğimde bağımlı değişken öngörüleri ne olur yorumlamak inc09_10kve unins09bağımsız ve ortaklaşa etrafında.

r multicollinearity vif variance-decomposition

— Ari B. Friedman
kaynak

Yanıtlar:

Evet, bu genellikle merkezli olmayan etkileşimler için geçerlidir. İki bağımsız değişkenin korelasyonu ve "etkileşimi" ne olduğuna kısa bir bakış

set.seed(12345)
a = rnorm(10000,20,2)
b = rnorm(10000,10,2)
cor(a,b)
cor(a,a*b)

> cor(a,b)
[1] 0.01564907
> cor(a,a*b)
[1] 0.4608877

Ve sonra onları ortaladığınızda:

c = a - 20
d = b - 10
cor(c,d)
cor(c,c*d)

> cor(c,d)
[1] 0.01564907
> cor(c,c*d)
[1] 0.001908758

Bu arada, aynı ilk merkezleme olmadan polinom terimleri (yani, ) dahil ederek olabilir . $X,~X^2,~...$

Böylece çiftinle buna bir şans verebilirsin.

Merkezlenmenin neden yardımcı olduğuna gelince - ama kovaryans tanımına geri dönelim.

\begin{aligned} Cov (X, X Y) & = E [(X - E (X)) (X Y - E (X Y))] \\ = E [(X - μ_{x}) (X Y - μ_{x y})] \\ = E [X^{2} Y - X μ_{x y} - X Y μ_{x} + μ_{x} μ_{x y}] \\ = E [X^{2} Y] - E [X] μ_{x y} - E [X Y] μ_{x} + μ_{x} μ_{x y} \end{aligned}

$\begin{align} \text{Cov}(X,XY) &= E[(X-E(X))(XY-E(XY))] \\ &= E[(X-\mu_x)(XY-\mu_{xy})] \\ &= E[X^2Y-X\mu_{xy}-XY\mu_x+\mu_x\mu_{xy}] \\ &= E[X^2Y]-E[X]\mu_{xy}-E[XY]\mu_x+\mu_x\mu_{xy} \\ \end{align}$

X ve Y'nin bağımsızlığı bile verildiğinde

\begin{aligned} = E [X^{2}] E [Y] - μ_{x} μ_{x} μ_{y} - μ_{x} μ_{y} μ_{x} + μ_{x} μ_{x} μ_{y} \\ = (σ_{x}^{2} + μ_{x}^{2}) μ_{y} - μ_{x}^{2} μ_{y} \\ = σ_{x}^{2} μ_{y} \end{aligned}

$\begin{align} \qquad\qquad\qquad\, &= E[X^2]E[Y]-\mu_x\mu_x\mu_y-\mu_x\mu_y\mu_x+\mu_x\mu_x\mu_y \\ &= (\sigma_x^2+\mu_x^2)\mu_y-\mu_x^2\mu_y \\ &= \sigma_x^2\mu_y \\ \end{align}$

Bu, doğrudan tamamen ve sahip olmadığınız için, doğrudan regresyon probleminizle ilgili değildir ve iki açıklayıcı değişken arasındaki korelasyon her zaman regresyonda çok-kutupluluk sorunları ile sonuçlanmadığından. Ancak, merkezlenmemiş iki bağımsız değişken arasındaki etkileşimin korelasyonun ortaya çıkmasına neden olduğunu ve bu korelasyonun çoklu doğrusallık sorunlarına neden olabileceğini göstermektedir . $X$ $Y$

Sezgisel bana olmayan merkezli değişkenleri olan etkileşim basitçe zaman anlamına gelir büyük, daha sonra da bağımsız mutlak ölçekte büyük olacak ve böylece ve sona erecek ve benzer için korelasyon . $X$ $XY$ $Y$ $X$ $XY$ $Y$

— Afin
kaynak

İlginç, teşekkürler. Merkezlemenin neden önemli olduğu konusunda bir açıklamanız veya alıntı yapmanız mı var?

— Ari B. Friedman,

Bence, bu cevap tüm ödülü haketmiyor, ama bunu yarı ödül vermek istiyorum. Yine de ikinci bir oy kullanmadıkça bunun olmadığından emin değilim: -.

— Ari B. Friedman,

@ AriB.Friedman, ödülün yarısını verme seçeneğine (tam olarak) sahip değilsin. Sen olabilir değil (hala temsilcisi yolu ya kaybetmiş olmasına rağmen) & Bu yazı muhtemelen (bkz otomatik yarısı ödül verilecektir edilecek ödül verirler yardım sayfasının ilgili bölümü ). Ancak, neden bu cevap lütufu hak etmiyor? Afin tam burada (+1).

— dediklerinin - Eski Monica

@gung Ön düzenleme bakıyordum. Şimdi kesinlikle hak ediyor. @Affine teşekkürler! Yarı ödül bölümüne gelince, anlayışım >=+2 cevaptır, ödül manuel olarak verilmezse yarı ödül alır.

— Ari B. Friedman,

@ AriB.Friedman, bu doğru, ancak yorum yapmadan önce (& çok oy verildi, & bir başkası da yaptı), 2+ kadar oyu yoktu.

— gung - Reinstate Monica

Bu konuda aşağıdaki yayınları faydalı buldum:

Robinson & Schumacker (2009): Etkileşim etkileri: merkezleme, varyans enflasyon faktörü ve yorumlama sorunları

“Tahmini ölçeklendirmenin, regresyon denklemlerinin katsayıları (merkezlenmiş ve merkezsiz çözümler ile yüksek dereceli etkileşim etkileri (3-yollu etkileşimler; sürekli etkilerle kategorize edilmiş) üzerindeki etkileri Aiken ve West (1991) tarafından düşünülmüş bir şekilde ele alınmıştır. Değişkenler merkezlenmemişken bir etkileşim terimi ile bir regresyon denklemine girilir. '

Afshartous & Preston (2011): Merkezleme ile etkileşim modellerinin kilit sonuçları

'Değişken merkezlemeyi kullanma motivasyonları, katsayıların daha iyi yorumlanabilmesini ve çok-doğrusallıkla ilişkili tahminlerde azalmış sayısal kararsızlığı içerir.'

Açıkçası, Aiken ve West (1991) de bu konuyu kapsıyorlar ama ben onların kitabım yok.

— basmakalıp
kaynak