Birden fazla kategorik değişken olduğunda betaların yorumlanması

O kavramını regresyon katsayısı iki kategoriye ortalama farkıdır uç yorumlamak kategorik değişkeni 0 eşittir (veya referans grubu olduğu) zaman için ortalamasıdır. > 2 kategoride bile, her bir bu kategorinin ortalaması ile referans arasındaki farkı açıkladığını varsayabilirim . $\hat\beta_0$ $\hat\beta$

Ancak, çok değişkenli modele daha fazla değişken getirilirse ne olur? Şimdi, iki kategorik değişkenin referansı için bir anlam ifade etmesinin mantıklı olmadığı düşünüldüğünde, kesişme ne demektir? Örnek olarak, cinsiyet (M (ref) / F) ve ırk (beyaz (ref) / siyah) bir modelde olsaydı. Mı sadece beyaz erkeklerde ortalama? Kişi diğer olasılıkları nasıl yorumlar? $\hat\beta_0$

Ayrı bir not olarak: kontrast ifadeleri efekt modifikasyonunu araştırmak için bir yöntem işlevi görür mü? Ya da sadece etkiyi ( ) farklı düzeylerde görmek için mi? $\hat\beta$

— Renee
kaynak

Bir terminolojik not olarak, "çok değişkenli", birden fazla tahmin değişkeni değil, birden çok cevap değişkeni anlamına gelir ( buraya bakınız ). Ayrıca, son sorunuzu takip etmiyorum.

— gung - Monica'yı eski

Bu açıklama için teşekkürler. Dili doğru yapmak benim için önemlidir! Ben sadece her zaman sadece bir karşı kontrast olan referans değişken ayarlamak olabilir çünkü neden kontrast ifadeler hiç kullanıldığını anlayamıyorum varsayalım?

— Renee

Sanırım modeli farklı referans seviyeleriyle yeniden monte etmeye devam edebilirsiniz. Bunun daha uygun olduğundan emin değilim. Kontrastlarla, test etmek için bir dizi dikey kontrast veya teorik olarak ima edilen bir kontrast (B & C kombinasyonuna karşı A ve B) belirleyebilirsiniz.

— gung - Monica'yı eski

Yanıtlar:

$k$ düzeylerine sahip tek bir kategorik değişken olduğunda betaların yorumlanması konusunda haklısınız . Birden kategorik değişkenler vardı (ve herhangi bir etkileşim terimi idi) ise, (kesişme ) referans seviyesini oluşturmaktadır grubun ortalama olan , her iki (tümü) kategorik değişkenler. Örnek senaryonuzu kullanarak etkileşimin olmadığı durumu dikkate alın, ardından betalar şunlardır: $\hat\beta_0$

$\hat\beta_0$ : Beyaz erkek ortalama
$\hat\beta_{\rm Female}$ :farkıdişilerin ortalama ve erkeklerin ortalama arasında
$\hat\beta_{\rm Black}$ :farkkaralarının ortalama ve beyaz ortalama arasında

Bunu, çeşitli grup araçlarının nasıl hesaplanacağı açısından da düşünebiliriz:

\begin{aligned} {\bar{x}}_{W h ben t e M bir l e s} & = {\hat{β}}_{0} \\ {\bar{x}}_{W h ben t e F e m bir l e s} & = {\hat{β}}_{0} + {\hat{β}}_{F e m bir l e} \\ {\bar{x}}_{B l bir c k M bir l e s} & = {\hat{β}}_{0} + {\hat{β}}_{B l bir c k} \\ {\bar{x}}_{B l bir c k F e m bir l e s} & = {\hat{β}}_{0} + {\hat{β}}_{F e m bir l e} + {\hat{β}}_{B l bir c k} \end{aligned}

$\begin{align} &\bar x_{\rm White\ Males}& &= \hat\beta_0 \\ &\bar x_{\rm White\ Females}& &= \hat\beta_0 + \hat\beta_{\rm Female} \\ &\bar x_{\rm Black\ Males}& &= \hat\beta_0 + \hat\beta_{\rm Black} \\ &\bar x_{\rm Black\ Females}& &= \hat\beta_0 + \hat\beta_{\rm Female} + \hat\beta_{\rm Black} \end{align}$

Bir etkileşim teriminiz olsaydı, siyah dişiler için denklemin sonuna eklenirdi. (Böyle bir etkileşim teriminin yorumu oldukça kıvrımlıdır, ancak burada geçiyorum: Etkileşim teriminin yorumu .)

Güncelleme : Puanlarımı netleştirmek için, kodlanmış bir hazır örneği ele alalım R.

d = data.frame(Sex  =factor(rep(c("Male","Female"),times=2), levels=c("Male","Female")),
               Race =factor(rep(c("White","Black"),each=2),  levels=c("White","Black")),
               y    =c(1, 3, 5, 7))
d
#      Sex  Race y
# 1   Male White 1
# 2 Female White 3
# 3   Male Black 5
# 4 Female Black 7

resim açıklamasını buraya girin

Araçları y, bu kategorik değişkenler şunlardır:

aggregate(y~Sex,  d, mean)
#      Sex y
# 1   Male 3
# 2 Female 5
## i.e., the difference is 2
aggregate(y~Race, d, mean)
#    Race y
# 1 White 2
# 2 Black 6
## i.e., the difference is 4

Bu araçlar arasındaki farkları, monte edilmiş bir modelin katsayıları ile karşılaştırabiliriz:

summary(lm(y~Sex+Race, d))
# ...
# Coefficients:
#             Estimate Std. Error  t value Pr(>|t|)    
# (Intercept)        1   3.85e-16 2.60e+15  2.4e-16 ***
# SexFemale          2   4.44e-16 4.50e+15  < 2e-16 ***
# RaceBlack          4   4.44e-16 9.01e+15  < 2e-16 ***
# ...
# Warning message:
#   In summary.lm(lm(y ~ Sex + Race, d)) :
#   essentially perfect fit: summary may be unreliable

Bu durum hakkında bilinmesi gereken şey, bir etkileşim terimi olmadan paralel çizgiler varsaydığımızdır. Böylece, Estimatefor (Intercept)beyaz erkeklerin ortalamasıdır. Estimateİçin SexFemaledişilerin ortalama ve erkeklerin ortalama arasındaki farktır. Estimateİçin RaceBlacksiyahların ortalama ve beyazların ortalama arasındaki farktır. Yine, bir etkileşim terimi olmayan bir model, etkilerin kesinlikle toplanır olduğunu (çizgiler kesinlikle paraleldir) varsayarsak, siyah dişilerin ortalaması beyaz erkeklerin ortalaması artı kadınların ortalaması ile erkeklerin ortalaması artı arasındaki farktır. siyahların ortalaması ve beyazların ortalaması arasındaki fark.

— gung - Monica'yı eski durumuna döndürün
kaynak

Teşekkür ederim! Çok açık ve yararlı. Sonunda etkileşim terimlerinden bahsediyorsunuz. Bir etkileşim terimi varsa, bu betaları nasıl değiştirir (etkileşim terimi modelindeki yeni betalar anlamına gelir)? Etkileşim terimi için p değerinin önemli olduğunu biliyorum, ancak etkileşim terimi beta'nın anlamlı bir yorumu var mı? Yardımınız için tekrar teşekkürler!

— Renee

{\hat{β}}_{F e m a l e}

$\hat\beta_{\rm Female}$

{\bar{x}}_{W h i t e M a l e}

$\bar x_{\rm White\ Male}$

{\bar{x}}_{W h i t e F e m a l e}

$\bar x_{\rm White\ Female}$

Mantıklı. Teşekkür ederim! & ana etkiyi iyileştiren etkileşim terimi nedeniyle etkileşim terimi olmadan modelden değiştirilir mi? Etkileşim yoksa, ana etki terimi teorik olarak aynı olur mu?

— Renee

Etkileşim etkisi tam olarak 0 (sonsuz ondalık basamaklara) olsaydı, sadece popülasyonda değil, aynı zamanda örneğinizde de, ana etki betaları, etkileşim terimi olmayan veya olmayan bir modelde aynı olurdu.

— gung - Monica'yı eski

@ hans0l0, bu, burada yorumlara gömülü bilgiler yerine yeni bir soru olarak daha iyi olurdu; bağlam için buna bağlayabilirsiniz. Kısaca, tüm sürekli değişkenler = 0 olduğunda referans seviyelerinin ortalamasıdır.

— gung - Monica'yı eski

$\hat{\beta}_0$ $\hat\beta$

Örneğinizi yarış kategorisine ( Asya deyin ) üçüncü bir seviye eklemek ve referans olarak Beyaz'ı seçmek için biraz genişletirsek, aşağıdakilere sahip olursunuz:

$\hat{\beta}_0 = \bar{x}_{White}$
$\hat{\beta}_{Black} = \bar{x}_{Black} - \bar{x}_{White}$
$\hat{\beta}_{Asian} = \bar{x}_{Asian} - \bar{x}_{White}$

$\hat{\beta}$

$\bar{x}_{Asian} = \hat{\beta}_{Asian} + \hat{\beta}_0$

Ne yazık ki, birden fazla kategorik değişken söz konusu olduğunda, kesişim için doğru yorumlama artık açık değildir (sondaki nota bakınız). Her biri birden fazla seviyeye ve bir referans seviyesine sahip n kategori olduğunda (örneğin , örnekte Beyaz ve Erkek ), kesişmenin genel formu şöyledir:

{\hat{β}}_{0} = \sum_{i = 1}^{n} {\bar{x}}_{r e f e r e n c e, i} - (n - 1) \bar{x},

$\hat{\beta}_0 =∑_{i=1}^{n}\bar{x}_{reference,i} -(n-1) \bar{x} ,$

{\bar{x}}_{r e f e r e n c e, i} is the mean of the reference level of the i-th categorical variable,

$\bar{x}_{reference,i}\small{\text{ is the mean of the reference level of the i-th categorical variable,}}$

\bar{x} is the mean of the whole data set

$\bar{x}\small{\text{ is the mean of the whole data set}}$

$\hat\beta$

Örneğinize geri dönersek şunu elde ederiz:

$\hat{\beta}_0 = \bar{x}_{White} + \bar{x}_{Male} - \bar{x}$
$\hat{\beta}_{Black} = \bar{x}_{Black} - \bar{x}_{White}$
$\hat{\beta}_{Asian} = \bar{x}_{Asian} - \bar{x}_{White}$
$\hat{\beta}_{Female} = \bar{x}_{Female} - \bar{x}_{Male}$

You will notice that the mean of the cross categories (e.g. White males) are not present in any of the $\hat\beta$ . As a matter of fact, you cannot calculate these means precisely from the results of this type of regression.

The reason for this is that, the number of predictor variables (i.e. the $\hat\beta$ ) is smaller then the number of cross categories (as long as you have more than 1 category) so a perfect fit is not always possible. If we go back to your example, the number of predictors is 4 (i.e. $\hat{\beta}_0, ~\hat{\beta}_{Black}, ~\hat{\beta}_{Asian}$ and $\hat{\beta}_{Female}$ ) while the number of cross categories is 6.

Numerical Example

Let me borrow from @Gung for a canned numerical example:

d = data.frame(Sex=factor(rep(c("Male","Female"),times=3), levels=c("Male","Female")),
    Race =factor(rep(c("White","Black","Asian"),each=2),levels=c("White","Black","Asian")),
    y    =c(0, 3, 7, 8, 9, 10))
d

#      Sex  Race  y
# 1   Male White  0
# 2 Female White  3
# 3   Male Black  7
# 4 Female Black  8
# 5   Male Asian  9
# 6 Female Asian 10

In this case, the various averages that will go in the calculation of the $\hat\beta$ are:

aggregate(y~1,  d, mean)

#          y
# 1 6.166667

aggregate(y~Sex,  d, mean)

#      Sex        y
# 1   Male 5.333333
# 2 Female 7.000000

aggregate(y~Race, d, mean)

#    Race   y
# 1 White 1.5
# 2 Black 7.5
# 3 Asian 9.5

We can compare these numbers with the results of the regression:

summary(lm(y~Sex+Race, d))

# Coefficients:
#             Estimate Std. Error t value Pr(>|t|)
# (Intercept)   0.6667     0.6667   1.000   0.4226
# SexFemale     1.6667     0.6667   2.500   0.1296
# RaceBlack     6.0000     0.8165   7.348   0.0180
# RaceAsian     8.0000     0.8165   9.798   0.0103

As you can see, the various $\hat\beta$ estimated from the regression all line up with the formulas given above. For example, $\hat\beta_0$ is given by:

{\hat{β}}_{0} = {\bar{x}}_{W h i t e} + {\bar{x}}_{M a l e} - \bar{x}

$\hat{\beta}_0 = \bar{x}_{White} + \bar{x}_{Male} - \bar{x}$ Which gives:

1.5 + 5.333333 - 6.166667
# 0.66666

Note on the choice of contrast

A final note on this topic, all the results discussed above relate to categorical regressions using contrast treatment (the default type of contrast in R). There are different types of contrast which could be used (notably Helmert and sum) and and it would change the interpretation of the various $\hat\beta$ . However, It would not change the final predictions from the regressions (e.g. the prediction for White males is always the same no matter which type of contrast you use).

My personal favourite is contrast sum as I feel that the interpretation of the $\hat\beta^{contr.sum}$ generalises better when there are multiple categories. For this type of contrast, there is no reference level, or rather the reference is the mean of the whole sample, and you have the following $\hat\beta^{contr.sum}$ :

$\hat\beta_0^{contr.sum}=\bar{x}$
$\hat\beta_i^{contr.sum}=\bar{x}_i-\bar{x}$

If we go back to the previous example, you would have:

$\hat{\beta}_0^{contr.sum} = \bar{x}$
$\hat{\beta}_{White}^{contr.sum} = \bar{x}_{White} - \bar{x}$
$\hat{\beta}_{Black}^{contr.sum} = \bar{x}_{Black} - \bar{x}$
$\hat{\beta}_{Asian}^{contr.sum} = \bar{x}_{Asian} - \bar{x}$
$\hat{\beta}_{Male}^{contr.sum} = \bar{x}_{Male} - \bar{x}$
$\hat{\beta}_{Female}^{contr.sum} = \bar{x}_{Female} - \bar{x}$

You will notice that because White and Male are no longer reference levels, their $\hat\beta^{contr.sum}$ are no longer 0. The fact that these are 0 is specific to contrast treatment.

— G.L.
kaynak