Doğrusal regresyonda kategorik değişken için istatistiksel önem nasıl test edilir?

Doğrusal bir regresyonda kategorik değişkenim varsa ... kategorik değişkenin durağan önemini nasıl bilebilirim?

Diyelim ki faktörü $X_1$ 10 seviyeye sahip ... bir faktör değişkeni şemsiyesi altında 10 farklı sonuç t-değeri olacak $X_1$ ...

Bana öyle geliyor ki, istatistiksel anlamlılık faktör değişkeninin her seviyesi için test ediliyor mu? Hayır?

@Macro: Önerinizi takiben aşağıdaki örneği oluşturdum:

Aşağıdaki model karşılaştırmasından x3'ün faydalı olduğu ve modele dahil edilmesi gerektiği görülmektedir.

Ama aslında bu yanlış ...

n=100    
x1=1:n
x2=(1:n)^2 
x3=rnorm(n)
ee=rnorm(n)
y=3*x1-2*x2+x3+3+ee
lm1=lm(y~x1+x2+x3)
summary(lm1)

lm2=lm(y~x1+x2) 
summary(lm2)

anova(lm1, lm2)

> anova(lm1, lm2)
Analysis of Variance Table

Model 1: y ~ x1 + x2 + x3
Model 2: y ~ x1 + x2
  Res.Df     RSS Df Sum of Sq      F    Pr(>F)    
1     96  82.782                                  
2     97 146.773 -1    -63.99 74.207 1.401e-13 ***
---
Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

regression statistical-significance categorical-data

— Luna
kaynak

@ Luna, bu neden yanlış? S'yi x3oluşturmak için kullandığınız anlaşılıyor y, bu yüzden modele dahil edilmelidir ve

değeri bu sonuca katılır.

p

$p$

— Makro

@Seth - haklısın. Anova'nın genel olarak model karşılaştırmasında kullanılmasına ilişkin bir oyuncak örneği veriyordum. Yani asıl sorumla bağlantılı değil.

— Luna

@Macro - haklısın. Şimdi anlıyorum. Teşekkür ederim!

— Luna

R 'araba' paketinden ( pdf ) 'Anova' işlevi, kategorik bir değişkenin genel önemini test etmenizi sağlar. Birçok farklı paket ve regresyon türüyle çalışır.

— SK4ndal

Bu -değerlerinin yalnızca her bir düzeyin ortalamasının referans düzeyinin ortalamasından önemli ölçüde farklı olup olmadığını size söylediğinizden emin olabilirsiniz . Bu nedenle, size sadece seviyeler arasındaki ikili farkları anlatırlar . Kategorik öngörücünün bir bütün olarak anlamlı olup olmadığını test etmek, öngörücünün düzeylerinde herhangi bir heterojenite olup olmadığının test edilmesine eşdeğerdir. Modelde başka yordayıcı olmadığında, bu klasik bir ANOVA problemidir. $p$

Modelde başka öngörücüler olduğunda. kategorik bir öngörücünün önemini test etmek için iki seçeneğiniz vardır:

(1) olabilirlik oran testi: Bir sonuç olduğunu varsayalım , kantitatif belirleyiciler ve kategorik belirleyici ile seviyeleri. Kategorik öngörücüsü olmayan model $Y_i$ $X_{i1}, ..., X_{ip}$ $C_i$ $k$

Y_{i} = β_{0} + β_{1} X_{i 1} + . . . + β_{p} X_{i p} + ε_{i}

$Y_i = \beta_0 + \beta_1 X_{i1} + ... + \beta_p X_{ip} + \varepsilon_i$

İçinde Rbu modeli lm()komutla sığdırabilir ve günlük olasılığını komutla çıkarabilirsiniz logLik. Bu günlük olabilirliği . Daha sonra, modeli kategorik öngörücü ile sığdırabilirsiniz: $L_0$

Y_{i} = β_{0} + β_{1} X_{i 1} + . . . + β_{p} X_{i p} + \sum_{j = 1}^{k - 1} α_{j} B_{j} + ε_{i}

$Y_i = \beta_0 + \beta_1 X_{i1} + ... + \beta_p X_{ip} + \sum_{j=1}^{k-1} \alpha_j B_j + \varepsilon_i$

burada olan bir kukla ise ve , aksi. 'inci düzey sadece orada yüzden referans seviyesi olan toplamında terimleri. kategorik değişkeni iletirseniz, bu kukla kodlamayı sizin için otomatik olarak yapar . Bu modeli benzer şekilde sığdırabilir ve günlük olasılığını yukarıdaki gibi çıkarabilirsiniz. Bu günlük olabilirliği . Daha sonra, etkisi olmadığı sıfır hipotezi altında , $B_j$ $1$ $D_i = j$ $0$ $k$ $k-1$ Rlm() $L_1$ $D_i$

λ = 2 (L_{1} - L_{0})

$\lambda = 2 \left( L_1 - L_0 \right )$

Bir sahiptir ile dağıtım serbestlik derecesine. Yani, hesaplayabilirsiniz kullanarak -değeri içinde önemi için teste. $\chi^2$ $k-1$ $p$ 1-pchisq(2*(L1-L0),df=k-1)R

(2) -test: $F$ Ayrıntılara girmeden (log-olasılıklardan ziyade karelerin toplamı kullanılması dışında LRT'ye benzer), bunun nasıl yapılacağını açıklayacağım R. Komutu (buna çağır ) ve kategorik öngörücüsü olmayan modeli (buna çağır ) Rkullanarak "tam" modeli (yani kategorik öngörücü dahil tüm öngörücülere sahip modeli) takarsanız , bu hipotezi test eder. siz de.lm()g1g0anova(g1,g0)

$F$

— Makro
kaynak

Çok teşekkürler Macro. Verilerimin oldukça normal olmadığını gördüm. QQ grafiği aşağıdaki gibidir: eğri düz 45 derecelik çizginin altındadır. Eğri bu düz çizgiye teğettir. Ve eğri, f (x) = - x ^ 2 (şekil olarak) eğrisine benziyor. Ne tür bir sorunla karşılaşıyorum? Bunu nasıl düzeltebilirim? Teşekkür ederim!

— Luna

@Luna, Verileriniz son derece normal değil veya artıklar son derece normal değil mi? Ayrıca, tüm puan kümesinin 45 derecelik çizginin altında kalmasının mümkün olduğunu düşünmüyorum.

— Makro

aslında haklısın ... QQ grafiğine bir kez daha baktım. 45 derecenin altındaki noktaların tamamı değil. F (x) = - x ^ 2 şeklinde eğri 45 derecelik çizgiye "teğet" tir. "Teğet" ile "teğet" noktasının etrafındaki noktaların aslında 45 derecelik çizginin üzerinde olduğu anlamına gelmeliydim. Bu nedenle, görsel olarak konuşursak, verilerin çoğu (~% 98) 45 derece çizgisinin altında ... model karşılaştırması yapmadan önce bu sorunu gidermek için önce ne yapmalıyım? Teşekkür ederim!

— Luna

Örnek boyutunuz oldukça büyükse,

p

$p$ - hata dağılımınız uzun kuyruklu olmadığı sürece, değerler yine de makul olmalıdır (merkezi limit teoremi ile). Kategorik değişkeni tek başına test etmek istiyorsanız, parametrik olmayan bir ANOVA kullanabilirsiniz: en.wikipedia.org/wiki/…, ancak dediğim gibi, bu gerçekten pozlanandan tamamen farklı bir soru haline geliyor ve daha uygun bir şekilde yeni bir soru olarak ortaya konabilir veya ilgili bir soru için sitede arama yapılarak yanıtlanabilir.

— Makro

@ Druss2k, evet bu doğru.

— makro