Ilımlı regresyon: Neden öngörücüler arasında bir * ürün * terimi hesaplıyoruz?

12

Ilımlı regresyon analizleri genellikle sosyal bilimlerde iki veya daha fazla öngörücü / ortak değişken arasındaki etkileşimi değerlendirmek için kullanılır.

Tipik olarak, iki öngörücü değişkeni ile aşağıdaki model uygulanır:

$Y = β_0 + β_1*X + β_2*M + β_3*XM + e$

Ilımlılık testinin ürün terimi $XM$ (bağımsız değişken $X$ ile moderatör değişkeni arasındaki çarpım) tarafından çalıştırıldığına dikkat edin $M$ . Çok temel sorum şu: Neden $X$ ve arasında bir ürün terimi hesaplıyoruz $M$ ? Örneğin, mutlak fark neden olmasın $|M-X|$ ya da sadece toplam $X + M$ ?

İlginçtir, Kenny bu konuda burada http://davidakenny.net/cm/moderation.htm diyerek şunları ifade eder: . Resmi bir illüstrasyon ya da kanıt aydınlatıcı olurdu, sanırım / umarım.

regression interaction

— payda
kaynak

12

Bir "moderatör" karşı regresyon katsayılarını etkiler : moderatör değiştikçe değişebilirler. Böylece, genel olarak, ılımlılığın basit regresyon modeli $Y$ $X$

E (Y) = α (M) + β (M) X

$\mathbb{E}(Y) = \alpha(M) + \beta(M)X$

burada ve olan fonksiyonları moderatör ait değerleri etkilenmeden yerine sabitler . $\alpha$ $\beta$ $M$ $M$

Gerileme üzerine kurulmuştur edildiği aynı ruhu lineer yaklaşım arasındaki ilişkinin ve , her iki ümit olabilir ve olan - yaklaşık en az - doğrusal fonksiyonları değerlerinin aralığı boyunca verilerde: $X$ $Y$ $\alpha$ $\beta$ $M$ $M$

\begin{aligned} E (Y) & = α_{0} + α_{1} M + O (M^{2}) + (β_{0} + β_{1} M + O (M^{2})) X \\ = α_{0} + β_{0} X + α_{1} M + β_{1} M X + O (M^{2}) + O (M^{2}) X . \end{aligned}

$\eqalign{ \mathbb{E}(Y) &= \alpha_0 + \alpha_1 M + O(M^2) + (\beta_0 + \beta_1 M + O(M^2))X \\ &= \alpha_0 + \beta_0 X + \alpha_1 M + \beta_1 MX + O(M^2) + O(M^2)X. }$

Maddi olmayan ("big-O") terimleri bırakmak, önemli olmayacak kadar küçük olmaları umuduyla, çarpma (bilinear) etkileşim modelini verir.

\begin{matrix} (1) & E (Y) = α_{0} + β_{0} X + α_{1} M + β_{1} M X . \end{matrix}

$\mathbb{E}(Y) = \alpha_0 + \beta_0 X + \alpha_1 M + \beta_1 MX.\tag{1}$

Yukarıdaki türetme katsayılarının ilginç bir yorumunu önerir: hızıdır değişikliği yolunu kesmek ise hızıdır değişikliği eğimi . ( ve , (resmi olarak) sıfıra ayarlandığında eğim ve .) , "ürün terimi" katsayısıdır . Soruyu şu şekilde cevaplar: $\alpha_1$ $M$ $\beta_1$ $M$ $\alpha_0$ $\beta_0$ $M$ $\beta_1$ $MX$

moderatörünün (ortalama olarak) ve eğimi ile doğrusal bir ilişki içinde olmasını beklediğimizde ılımlılığı ürün terimiyle . $MX$ $M$ $Y$ $X$

İlginçtir, bu türetme, modelin doğal bir uzantısına giden yolu işaret eder ve bu da uyum iyiliğini kontrol etmenin yollarını önerebilir. doğrusal olmama konusunda endişeleriniz yoksa - modelinin doğru olduğunu biliyorsunuz veya varsayarsanız - modeli bırakılan terimleri karşılayacak şekilde genişletmek istersiniz: $X$ $(1)$

E (Y) = α_{0} + β_{0} X + α_{1} M + β_{1} M X + α_{2} M^{2} + β_{2} M^{2} X .

$\mathbb{E}(Y) = \alpha_0 + \beta_0 X + \alpha_1 M + \beta_1 MX + \alpha_2M^2 + \beta_2 M^2X.$

hipotezini test etmek uyum iyiliğini değerlendirir. ve tahmini , modelin hangi yolla genişletilmesi gerektiğini gösterebilir: doğrusal olmayanlığı ( ) veya daha karmaşık bir denetleyici ilişki ( ) veya muhtemelen her ikisi de. (Bu test edeceğini Not değil genel bir fonksiyon bir kuvvet serileri genişlemesi ile önerilebilir .) $\alpha_2=\beta_2=0$ $\alpha_2$ $\beta_2$ $(1)$ $M$ $\alpha_2 \ne 0$ $\beta_2 \ne 0$ $f(X,M)$

Son olarak, etkileşim katsayısının sıfırdan farklı olmadığını, ancak uyumun doğrusal olmadığını (önemli bir değeri ile ) , (a) ılımlılık var ( b) bir terimi tarafından değil , bunun yerine ile başlayan bazı yüksek dereceli terimlerle modellenmiştir . Bu, Kenny'nin bahsettiği türden bir fenomen olabilir. $\beta_1$ $\beta_2$ $MX$ $M^2X$

— whuber
kaynak

8

Etkileşimlerini modellemek için yordayıcıların toplamını kullanırsanız, denkleminiz şöyle olur:

\begin{array}{rcl} Y & = & β_{0} + β_{1} X + β_{2} M + β_{3} (X + M) + e \\ = & β_{0} + β_{1} X + β_{2} M + β_{3} X + β_{3} M + e \\ = & β_{0} + (β_{1} + β_{3}) X + (β_{2} + β_{3}) M + e \\ = & β_{0} + β_{1}^{'} X + β_{2}^{'} M + e \end{array}

$\begin{eqnarray} Y &=& \beta_0 + \beta_1X + \beta_2M + \beta_3(X + M) + e\\ &=& \beta_0 + \beta_1X + \beta_2M + \beta_3X + \beta_3M + e\\ &=& \beta_0 + (\beta_1 + \beta_3)X + (\beta_2 + \beta_3)M + e \\ &=& \beta_0 + \beta_1'X + \beta_2'M + e \end{eqnarray}$

burada ve . Bu nedenle, modelinizin hiçbir etkileşimi olmayacaktır. Açıkçası, bu ürün için geçerli değildir. $\beta_1'=\beta_1+\beta_3$ $\beta_2'=\beta_2+\beta_3$

Mutlak değerin tanımını hatırlayın:

| X - M | = {\begin{cases} X - M, & X \geq M \\ M - X, & X < M \end{cases}

$|X-M| = \begin{cases} X-M, & X \geq M\\ M-X, & X < M \end{cases}$

Her ne kadar sadece ve terimleriyle, def. arasında, mutlak değer, aşağıdaki yorumda belirtildiği gibi, "birçok durumda gerçekçi olması muhtemel olmayan özel bir ılımlılık biçimidir". $\beta_0 + \beta_1X + \beta_2M + \beta_3|X-M| + e$ $X$ $M$ $|X-M|$

— Milos
kaynak

1

Aslında, birterimi, gösterilebilir bir ölçülü bir şeklidir: değeri değiştiren . Bununla birlikte, birçok durumda gerçekçi olması muhtemel olmayan sınırlı, özel bir ılımlılık şeklidir. Böyle bir modelin "sadece ana etkileri" olduğunu söylemek doğru değildir.

| X - M |

$|X-M|$

M

$M$

β_{2}

$\beta_2$

— whuber

1

Evet, haklısın,bir ılımlılık biçimidir, dönüşümden uzaklaştım ve cevabı buna göre düzenleyeceğim. Bunu işaret ettiğiniz için teşekkürler.

| X - M |

$|X-M|$

— Milos

@Milos: Tahminlerin toplamıyla ilgili örneğiniz göz açıcı, biraz utanç verici bir örnekti, söylemeliyim çünkü matematik sonuçlarını anlamış olmalıydım;) whuber: Anladığım kadarıyla, mutlak değer sadece yararlıdır her iki prediktör değişkeni aynı birimlerde ölçüldüğünde (örneğin, z-skorları veya T-skorları gibi aynı metriği kullanarak iki psikometrik test). X ve M arasındaki mutlak fark yararlı bir metriktir, ancak tek olası olanı değildir (yani prodcut terimi de kullanılabilir).

— payda

6

Çoğaltıcı denetleyici kullanmak için resmi bir kanıt bulamazsınız. Bu yaklaşımı başka yollarla destekleyebilirsiniz. Örneğin, işlevinin Taylor-MacLaurin genişlemesine bakın : $f(X,M)$

f (X, M) = f (0, 0) + \frac{\partial f (0, 0)}{\partial T} T + \frac{\partial f (0, 0)}{\partial M} M + \frac{\partial^{2} f (0, 0)}{\partial T \partial M} T M + \frac{\partial^{2} f (0, 0)}{2 \partial T^{2}} T^{2} + \frac{\partial^{2} f (0, 0)}{2 \partial M^{2}} M^{2} \dots

$f(X,M)=f(0,0)+\frac{\partial f(0,0)}{\partial T} T+\frac{\partial f(0,0)}{\partial M} M+\frac{\partial^2 f(0,0)}{\partial T\partial M} TM +\frac{\partial^2 f(0,0)}{2\partial T^2} T^2 +\frac{\partial^2 f(0,0)}{2\partial M^2} M^2\dots$

Taylor denklemine formunun bir fonksiyonunu , bunu elde edersiniz: $f(X,M)=\beta_0+\beta_XX+\beta_MM+\beta_{XM}XM$

f (X, M) = β_{0} + β_{X} X + β_{M} M + β_{X M} X M

$f(X,M)=\beta_0+\beta_XX +\beta_MM +\beta_{XM}XM$

Dolayısıyla, buradaki mantık, ılımlılığın bu özel çarpımsal formunun temelde ikinci bir ılımlı Taylor ilişkisine Taylor yaklaşımı olmasıdır. $f(X,M)$

GÜNCELLEME: @whuber'ın önerdiği gibi ikinci dereceden terimler eklerseniz şu olur: bunu Taylor'a takın:

g (X, M) = b_{0} + b_{X} X + b_{M} M + b_{X M} X M + b_{X 2} X^{2} + b_{M 2} M^{2}

$g(X,M)=b_0+b_XX +b_MM +b_{XM}XM+b_{X2}X^2 +b_{M2}M^2$

g (X, M) = b_{0} + b_{X} X + b_{M} M + b_{X M} X M + b_{X 2} X^{2} + b_{M 2} M^{2}

$g(X,M)=b_0+b_XX +b_MM +b_{XM}XM +b_{X2}X^2 +b_{M2}M^2$

Bu, ikinci dereceden terimlerle yeni modelimiz , orijinal ılımlılık modeli farklı olarak tam ikinci sıra Taylor yaklaşımına karşılık gelir . $g(X,M)$ $f(X,M)$

— Aksakal
kaynak

Argümanınızın temeli Taylor genişlemesi olduğundan, neden diğer iki ikinci terim olan ve de eklemediniz ? Doğru, onlar ılımlılık şekilleri değildir, ancak modele dahil edilmeleri genellikle etkiler .

X^{2}

$X^2$

M^{2}

$M^2$ $\beta_{XM}$

— whuber

@whuber, yazıyı kısa tutmaya karar verdim - ana sebep bu. Aksi takdirde, bir çapraz terim olduğunda ikinci sipariş terimlerini dahil etme tercihim hakkında yazmaya başladım, sonra kesin.

— Aksakal