Çoklu regresyonda “herkes eşit” ne demektir?

Birden fazla regresyon yaptığımızda ve bir değişkenindeki bir değişiklik için değişkenindeki ortalama değişime baktığımızı, diğer tüm değişkenleri sabit tuttuğumuzu söylediğinde, diğer değişkenleri sabit olarak hangi değerleri tutuyoruz? Onların ortalaması mı? Sıfır? Herhangi bir değer? $y$ $x$

Herhangi bir değerde olduğunu düşünmeye meyilliyim; sadece açıklama arıyorum. Birisi bir kanıtı olsaydı, bu da harika olurdu.

— EconStats
kaynak

Peter Kennedy'nin gazetesinde 10 örneğini anlamaya çok yardımcı oldum .

— Dimitriy V. Masterov

Evet, metrekareyi sabit tutarken oda sayısının artması biraz göze çarpıyor. Bu makale aslında faydalı fikirlerin bir altın madenidir, doktora notlarına gidiyor.

— EconStats

Bu aslında çok ilginç bir soru, ekonomistlerin "ceteris paribus" un tam olarak ne anlama geldiğini kendilerine sorup sormadıklarını merak ediyorum.

— mugen

Haklısın. Teknik olarak, herhangi bir değerdir . Bununla birlikte, bunu öğrettiğimde, genel olarak insanlara bir birim değişikliğin etkisini elde ettiğinizi , diğer tüm değişkenler kendi araçlarında tutulur. Bunun bana özgü olmadığını açıklamanın ortak bir yolu olduğuna inanıyorum. $X_j$

Herhangi bir etkileşiminiz yoksa, , bir birim değişikliğin etkisi , diğer değişkenlerinizin değerleri ne olursa olsun, genellikle bahsetmeye devam ediyorum . Ama ben ortalama formülasyon ile başlamak istiyorum. Bunun nedeni, bir regresyon modeline çoklu değişkenleri dahil etmenin iki etkisinin olmasıdır. Öncelikle, diğer değişkenleri kontrol etmesinin etkisini elde ( buradaki cevaba bakınız ). İkincisi, diğer değişkenlerin (tipik olarak) varlığının, modelinizin kalıntı varyansını azaltarak değişkenlerinizi ( dahil) $\beta_j$ $X_j$ $X_j$ $X_j$ ) 'daha belirgin'. Diğer değişkenler her yerde bir değere sahipse, insanların bunun nasıl çalıştığını anlamaları zordur. Değişkenliği bir şekilde artıracak gibi görünüyor . Her veriyi ayarlayarak düşünürseniz yukarı işaret veya dinlenme tüm kadar birbirlerine değişkenin değeri için aşağı değişkenleri kendi araçlarına taşındı, kalıntı değişkenlik küçülmüş olacağını görmek kolaydır. $X$

Çoklu regresyonun temellerini tanıttıktan sonra bir veya iki sınıfa kadar etkileşime giremiyorum. Ancak, onlara ulaştığımda, bu malzemeye geri dönüyorum. Yukarıdakiler etkileşimler olmadığında geçerlidir . Etkileşimler olduğunda, daha karmaşıktır. Bu durumda, etkileşim değişken [ler] sabit (çok özel olarak) tutuluyor ve başka bir değerde tutulmuyor. $0$

Bunun cebirsel olarak nasıl gerçekleştiğini görmek istiyorsanız, oldukça açıktır. Etkileşimsiz durumla başlayabiliriz. Diğer tüm değişkenler kendi araçlarında sabit tutulduklarında değişikliği belirleyelim . Genelliği kaybetmeden, orada üç diyelim değişkenleri ve biz anlamakta ilgilenen nasıl değişiklik bir tek birim değişikliği ile ilişkili tutarak ve kendi araçlarının en sabiti: $\hat Y$ $X$ $\hat Y$ $X_3$ $X_1$ $X_2$

\begin{aligned} {\hat{Y}}_{i} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} X_{3 i} \\ {\hat{Y}}_{i^{'}} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 i} + 1) \\ subtracting the first equation from the second: \\ {\hat{Y}}_{i^{'}} - {\hat{Y}}_{i} & = {\hat{β}}_{0} - {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} - {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} - {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 i} + 1) - {\hat{β}}_{3} X_{3 i} \\ Δ Y & = {\hat{β}}_{3} X_{3 i} + {\hat{β}}_{3} - {\hat{β}}_{3} X_{3 i} \\ Δ Y & = {\hat{β}}_{3} \end{aligned}

$\begin{align} \hat Y_i &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3X_{3i} \\ \hat Y_{i'} &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) \\ ~ \\ &\text{subtracting the first equation from the second:} \\ ~ \\ \hat Y_{i'} - \hat Y_i &= \hat\beta_0 - \hat\beta_0 + \hat\beta_1\bar X_1 - \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 - \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) - \hat\beta_3X_{3i} \\ \Delta Y &= \hat\beta_3X_{3i} + \hat\beta_3 - \hat\beta_3X_{3i} \\ \Delta Y &= \hat\beta_3 \end{align}$

Şimdi biz bu açıktır olabilir için herhangi bir değer koyduk ve biz koymak sürece, ilk iki denklemlerde aynı değeri ( her ikisi de). Yani, ve sabit kaldığı sürece . $X_1$ $X_2$ $X_1$ $X_2$ $X_1$ $X_2$

Öte yandan, bir etkileşiminiz varsa, bu şekilde çalışmaz. Burada bir etkileşim teriminin bulunduğu durumu göstereceğim : $X_1X_3$

\begin{aligned} {\hat{Y}}_{ben} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} X_{3 ben} + {\hat{β}}_{4} {\bar{X}}_{1} X_{3 ben} \\ {\hat{Y}}_{{ben}^{'}} & = {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 ben} + 1) + {\hat{β}}_{4} {\bar{X}}_{1} (X_{3 ben} + 1) \\ birinci denklemi ikinciden çıkarırken: \\ {\hat{Y}}_{{ben}^{'}} - {\hat{Y}}_{ben} & = {\hat{β}}_{0} - {\hat{β}}_{0} + {\hat{β}}_{1} {\bar{X}}_{1} - {\hat{β}}_{1} {\bar{X}}_{1} + {\hat{β}}_{2} {\bar{X}}_{2} - {\hat{β}}_{2} {\bar{X}}_{2} + {\hat{β}}_{3} (X_{3 ben} + 1) - {\hat{β}}_{3} X_{3 ben} + \\ {\hat{β}}_{4} {\bar{X}}_{1} (X_{3 ben} + 1) - {\hat{β}}_{4} {\bar{X}}_{1} X_{3 ben} \\ Δ Y & = {\hat{β}}_{3} X_{3 ben} + {\hat{β}}_{3} - {\hat{β}}_{3} X_{3 ben} + {\hat{β}}_{4} {\bar{X}}_{1} X_{3 ben} + {\hat{β}}_{4} {\bar{X}}_{1} - {\hat{β}}_{4} {\bar{X}}_{1} X_{3 ben} \\ Δ Y & = {\hat{β}}_{3} + {\hat{β}}_{4} {\bar{X}}_{1} \end{aligned}

$\begin{align} \hat Y_i &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3X_{3i} \quad\quad\ \! + \hat\beta_4\bar X_1X_{3i} \\ \hat Y_{i'} &= \hat\beta_0 + \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) + \hat\beta_4\bar X_1(X_{3i}\!+\!1) \\ ~ \\ &\text{subtracting the first equation from the second:} \\ ~ \\ \hat Y_{i'} - \hat Y_i &= \hat\beta_0 - \hat\beta_0 + \hat\beta_1\bar X_1 - \hat\beta_1\bar X_1 + \hat\beta_2\bar X_2 - \hat\beta_2\bar X_2 + \hat\beta_3(X_{3i}\!+\!1) - \hat\beta_3X_{3i} + \\ &\quad\ \hat\beta_4\bar X_1(X_{3i}\!+\!1) - \hat\beta_4\bar X_1X_{3i} \\ \Delta Y &= \hat\beta_3X_{3i} + \hat\beta_3 - \hat\beta_3X_{3i} + \hat\beta_4\bar X_1 X_{3i} + \hat\beta_4\bar X_1 - \hat\beta_4\bar X_1X_{3i} \\ \Delta Y &= \hat\beta_3 + \hat\beta_4\bar X_1 \end{align}$

Bu durumda, her şeyi sabit tutmak mümkün değildir. Etkileşim terimi ve bir işlevi olduğundan, etkileşim terimi de değişmeden değiştirilmesi mümkün değildir . Bu nedenle, değişimi eşittir bir tek birim değişikliği ile ilişkili tek etkileşimde değişken ( ) tutulur yerine (ya da başka bir değer, ancak ), bu durumda, alt denklemdeki son terim düşer. $X_1$ $X_3$ $X_3$ $\hat\beta_3$ $\hat Y$ $X_3$ $X_1$ $0$ $\bar X_1$ $0$

Bu tartışmada etkileşimler üzerine yoğunlaştım, fakat daha genel olarak mesele, bir başkasının fonksiyonu olan herhangi bir değişken olduğunda, diğerinin değişkeninin değerini değiştirmeden birincinin değerini değiştirmenin mümkün olmamasıdır. . Bu gibi durumlarda, anlamı daha karmaşık hale gelir. Örneğin, eğer ve ile bir modeliniz varsa , türevi , diğerlerini eşit tutar ve ( buradaki cevabına bakınız ). Diğer, hala daha karmaşık formülasyonlar da mümkündür. $\hat\beta_j$ $X_j$ $X_j^2$ $\hat\beta_j$ $\frac{dY}{dX_j}$ $X_j=0$

— gung - Eski Monica
kaynak

Teşekkürler gung, bu cevap birkaç seviyede harika. Birincisi, ilgilendiğim ana konuya cevap veriyor. İkincisi, benim takip sorumun ne olacağını tahmin ettin, çünkü bunun etkileşim terimlerinin getirilmesiyle nasıl değiştiğini soracağım. Matematik için de teşekkürler. Bu sorunun çok basit olduğunu biliyorum ama bu kavramlarla hiçbir zaman çok açık olamayacağınızı hissediyorum.

— EconStats

Bir şey değil, @EconStats. Matematiğin dahil edilmesinde bir sorun yoktur, bazen neler olduğunu anlamak çok daha kolay hale gelir.

— gung - Reinstate Monica

İlk denklemi ikinci denklemden çıkardığınızda, nihayetinde her iki denklemde de aynı olması , ve değerlerinin ne olduğu önemli değil . Bana çok bariz geliyor gibi görünüyor ama daha önce bu şekilde hesaplamayı hiç düşünmemiştim . Benim için kesin bir ampul anı.

X_{2}

$X_2$

X_{3}

$X_3$

β

$\beta$

— EconStats

wrt türevini de alabilirsiniz ve sizi aynı yere , ancak bu daha kolay bir matematiktir (aslında lise cebiri), bu nedenle daha geniş bir kitleye ulaşılabilir.

Y

$Y$

X_{j}

$X_j$

— gung - Reinstate Monica

@ beetroot, eğer seni doğru anlarsam, belli bir seviyede tutuyorsun. (Aksi takdirde, bunu yeni bir soru olarak sorabilirsiniz.)

— gung - Monica’yı yeniden yerleştirin

Matematik basit, sadece 1 ile değiştirilmiş x değişkenlerinden biri olan 2 model arasındaki farkı al ve diğer değişkenlerin ne olduğu önemli değil (etkileşimler, polinomlar veya diğer karmaşık terimler olmadığı sürece) göreceksin.

Bir örnek:

$y_{[1]} = b_0 + b_1 \times x_1 + b_2 \times x_2$

$y_{[2]} = b_0 + b_1 \times (x_1 + 1) + b_2 \times x_2$

$y_{[2]} - y_{[1]} = b_0 - b_0 + b_1\times x_1 - b_1\times x_1 + b_1 \times 1 + b_2 \times x_2 - b_2 \times x_2 = b_1$

— Greg Snow
kaynak

değişkenlerde bağımlılıktan bahsettiğinize inanıyorum ( ). Bu nedenle, model üzerindeki etkisi eşit olan diğer tüm şeyler herhangi tüm diğer herhangi değerde sabit tutulur. $X_i$

Y = β_{0} + β_{1} X_{1} + β_{2} X_{2}

$Y=\beta_{0}+\beta_{1}X_1+\beta_{2}X_2$

X_{i}

$X_i$

Y

$Y$

\frac{Δ Y}{Δ X_{i}}

$\frac{\Delta{Y}}{\Delta{X_i}}$

Δ X_{i}

$\Delta{X_i}$

X_{j}

$X_j$

Mümkün olduğunu göz önünde bulundurun ve zorunlu (doğrusal modelinde önemli bir etkileşim göstermeksizin (birbirinden örneğin fonksiyonları) bağlıdır olarak ). $X_1$ $X_2$ $\beta_{12}=0$ $Y=\beta_{0}+\beta_{1}X_1+\beta_{2}X_2+\beta_{12}X_1X_2$

Let: Burada ilginç bir teğet bir örnektir gibi ve daha sonra açık bir şekilde herhangi bir değişiklik etkileyecektir . Ancak ikisi arasındaki kovaryans sıfırdır. $X_1\sim N(0,\sigma_1^2)$ $X_2=X_1^{2}+N(0,\sigma_2^2)$ $X_1$ $X_2$

c o v (X_{1}, X_{2}) = E (X_{1} X_{2}) - E (X_{1}) E (X_{2})

$cov(X_1,X_2)=E(X_1X_2)-E(X_1)E(X_2)$

= E [X_{1} (X_{1}^{2} + a)] - E (X_{1}) . E (X_{1}^{2} - a) w i t h a \sim N (0, σ_{2}^{2})

$=E[X_1(X_1^2+a)]-E(X_1).E(X_1^2-a)\,with\,a\sim N(0,\sigma_2^2)$

= E (X_{1}^{3}) - E (X_{1} . a) - 0. E (X_{1}^{2} - a) = 0 - 0 - 0 = 0

$=E(X_1^3)-E(X_1.a)-0.E(X_1^2-a)=0-0-0=0$

Yani gerçekte bir değişiklik bir değişiklik ile ilişkili olacağını ve bu gerçekten eğer alter ortaya ne kapak olmaz . Fakat , üzerindeki her şeyin eşit olması üzerindeki etkisi olarak tanımlanacaktı . $X_1$ $X_2$ $\frac{\Delta{Y}}{\Delta{X_i}}$ $X_1$ $\frac{\Delta{Y}}{\Delta{X_i}}$ $X_i$ $Y$

Bu, tam bir türev ile bir kısmi türev ( diferansiyel bir denklemdeki ) arasındaki farkla karşılaştırılabilir. $\frac{\Delta{Y}}{\Delta{X_i}}$

— Hans Roggeman
kaynak

Teşekkürler Hans, aslında Gung'un yaptığı noktaya gelmeye çalışıyordum ama bu iki değişkenin ne zaman bağımlı olduğu için iyi bir örnek.

— EconStats