Bu regresyon anova tabloları neden aynı?

Aynı Y ve üç seviyeli X'te iki regresyonum var. Genel olarak n = 15, her grupta veya X seviyesinde n = 5'tir. İlk regresyon X'i kategorik olarak ele alır, seviye değişkenlerini seviye 2 ve 3'e seviye olarak atar. biri referanstır. Göstergeler / mankenler şöyle: X1 = 1 seviye = 2, 0 ise 0 X2 = 1 seviye = 3, 0 ise

Sonuç olarak takılan modelim şöyle görünüyor: y = b0 + b1 (x1) + b2 (x2)

Regresyon çalıştırın ve çıktı bu varyans analizi tablosu içerir:

tablo

Çıktının geri kalanı burada önemsizdir.

Tamam, şimdi aynı veriler üzerinde farklı bir gerileme yürütüyorum. Kategorik analizden vazgeçiyorum ve X'i sürekli olarak ele alıyorum, ancak denkleme bir değişken ekliyorum: X ^ 2, X'in karesi. Şimdi şu modele sahibim: y = b0 + b1 (X) + b2 (X) ^ 2

Çalıştırırsam, yukarıda gösterdiğim aynı Varyans Analizi tablosunu verir. Bu iki regresyon neden aynı tablolara neden oluyor?

[Bu küçük muammanın kredisi California Los Angeles Üniversitesi'nde Biyoistatistik Bölümü'nden Thomas Belin'e gidiyor.]

regression anova

— logjammin
kaynak

Sanırım bize "regresyon yapan" kodu ve muhtemelen üzerinde çalıştığınız veri sekmesini oluşturmak için kullandığınız veri adımı (bana SAS çıkışı gibi görünüyor) göstermek zorunda kalacak.

— Brad S.

@Brad bunun gerekli olduğunu düşünmüyorum: durum açıkça tanımlanmış ve neler olduğunu açıklamak için daha fazla bilgiye gerek yok.

— whuber

@whuber Belki. Sanırım, öyle diyorsan ama bana bir programlama hatası gibi geliyor. Cevabınızı dört gözle bekliyorum.

— Brad S.

@Brad Programlama hatası değil: Açıklamamı yayınladım. Gerçek istatistiksel ilgi (ve uygulanabilirlik) ile iyi bir soru.

— whuber

Hey Brad, Aslında bir problem setinden - durum bana bunu size verdiğim gibi verdi ve soru da aynı şekilde ortaya çıktı: "neden aynı olsunlar?". Sadece bu şekilde ortaya koydum: iki model, aynı ANOVA tabloları, hatta verilmeyen çıktıların geri kalanı ("ilgisiz" demek yerine bunu açıkça belirtmeliydim).

— logjammin

Yanıtlar:

Matris terimleriyle, modelleriniz normal biçimindedir . $E[Y]=X\beta$

Birinci model satırdaki birinci grubun bir elemanını temsil eder içinde O, ikinci grubun bir elemanını temsil eder kategori 3 için kesişim, kategori 2 göstergesi ve göstergeye karşılık gelen sıra ve üçüncü grubun bir elemanı . $(1,0,0)$ $X$ $(1,1,0)$ $(1,0,1)$

İkinci model bunun yerine , ve satırlarını kullanır . $(1,1,1^2)=(1,1,1)$ $(1,2,2^2)=(1,2,4)$ $(1,3,3^2)=(1,3,9)$

Ortaya çıkan model matrisleri ve . Bunlar basitçe ilişkilidir: birinin sütunları diğerinin sütunlarının doğrusal kombinasyonlarıdır. Örneğin, $X_1$ $X_2$

V = (\begin{matrix} 1 & 1 & 1 \\ 0 & 1 & 3 \\ 0 & 2 & 8 \end{matrix}) .

$V = \pmatrix{1&1&1 \\ 0&1&3 \\ 0&2&8}.$

O zamandan beri

(\begin{matrix} 1 & 0 & 0 \\ 1 & 1 & 0 \\ 1 & 0 & 1 \end{matrix}) V = (\begin{matrix} 1 & 1 & 1 \\ 1 & 2 & 4 \\ 1 & 3 & 9 \end{matrix}),

$\pmatrix{1&0&0 \\ 1&1&0 \\ 1&0&1} V = \pmatrix{1&1&1 \\ 1&2&4 \\ 1&3&9},$

bunu takip eder

X_{1} V = X_{2} .

$X_1 V = X_2.$

Bu nedenle modellerin kendileri

X_{1} β_{1} = E [Y] = X_{2} β_{2} = (X_{1} V) β_{2} = X_{1} (V β_{2}) .

$X_1\beta_1 = E[Y] = X_2\beta_2 = (X_1V)\beta_2 = X_1(V\beta_2).$

Yani, ikinci model için katsayıları , ilk modelin katsayılarıyla ilişkili olmalıdır. $\beta_2$

β_{1} = V β_{2} .

$\beta_1 = V\beta_2.$

Dolayısıyla aynı ilişki en küçük kareler tahminleri için de geçerlidir. Bu, modellerin aynı uyumlara sahip olduğunu gösterir : sadece onları farklı ifade ederler.

İki model matrisin ilk sütunları aynı olduğundan, ilk sütun ile kalan sütunlar arasındaki varyansı ayrıştıran ANOVA tablosu değişmez. Bununla birlikte, ikinci ve üçüncü sütunları birbirinden ayıran bir ANOVA tablosu, verilerin nasıl kodlandığına bağlı olacaktır.

Geometrik olarak (ve biraz daha soyut olarak), sütunları tarafından üretilen un üç boyutlu alt alanı , sütunları tarafından oluşturulan alt çakışır . Bu nedenle modellerin aynı uyumları olacaktır. Uyumlar sadece boşluklar iki farklı baz ile tanımlandığından farklı şekilde ifade edilir. $\mathbb{R}^{15}$ $X_1$ $X_2$

Açıklamak gerekirse, işte sizinki gibi veriler (ancak farklı yanıtlarla) ve üretildiği gibi karşılık gelen analizler R.

set.seed(17)
D <- data.frame(group=rep(1:3, each=5), y=rnorm(3*5, rep(1:3, each=5), sd=2))

İki modeli takın:

fit.1 <- lm(y ~ factor(group), D)
fit.2 <- lm(y ~ group + I(group^2), D)

ANOVA tablolarını görüntüleyin:

anova(fit.1)
anova(fit.2)

İlk modelin çıktısı

              Df Sum Sq Mean Sq F value   Pr(>F)    
factor(group)  2 51.836  25.918  14.471 0.000634 ***
Residuals     12 21.492   1.791

İkinci model için

           Df Sum Sq Mean Sq F value    Pr(>F)    
group       1 50.816  50.816 28.3726 0.0001803 ***
I(group^2)  1  1.020   1.020  0.5694 0.4650488    
Residuals  12 21.492   1.791

Kalan karelerin toplamlarının aynı olduğunu görebilirsiniz. İkinci modeldeki ilk iki satırı ekleyerek aynı DF'yi ve aynı ortalama kare, F değeri ve p-değerinin hesaplanabileceği toplam kareleri elde edersiniz.

Son olarak, katsayı tahminlerini karşılaştıralım.

beta.1.hat <- coef(fit.1)
beta.2.hat <- coef(fit.2)

Çıktı

(Intercept) factor(group)2 factor(group)3 
  0.4508762      2.8073697      4.5084944 

(Intercept)       group  I(group^2) 
 -3.4627385   4.4667371  -0.5531225

Kesişmeler bile tamamen farklıdır. Bunun nedeni, çoklu regresyondaki herhangi bir değişkenin tahminlerinin diğer tüm değişkenlerin tahminlerine dayanmasıdır (hepsi karşılıklı olarak dikey değilse, her iki model için de geçerli değildir). Bununla birlikte, çarpmanın ne başardığına bakın: $V$

(\begin{matrix} 1 & 1 & 1 \\ 0 & 1 & 3 \\ 0 & 2 & 8 \end{matrix}) (\begin{matrix} - 3.4627385 \\ 4.4667371 \\ - 0.5531225 \end{matrix}) = (\begin{matrix} 0.4508762 \\ 2.8073697 \\ 4.5084944 \end{matrix}) .

$\pmatrix{1&1&1 \\ 0&1&3 \\ 0&2&8}\pmatrix{-3.4627385 \\ 4.4667371 \\-0.5531225} = \pmatrix{ 0.4508762 \\ 2.8073697 \\ 4.5084944 }.$

Uyumlar gerçekten iddia edildiği gibi aynı.

— whuber
kaynak

Kutsal sigaralar adamım. İnternete bir soru sormaktan daha fazla düşünülmemiş, tam bir cevap vermedim. Teşekkürler x1000, cidden.

— logjammin

Sitemize hoşgeldiniz! Umarım kullanmaya devam edersiniz ve katkılarınızı bekliyoruz.

— whuber

Bugün bir şey öğrendim! (upvoted)

— Brad S.

Şaşırtıcı cevap. Zihin karmaşası!

— kedarps

Kısaca, her iki model de 3 X seviyesinin hepsinde tepkinin benzersiz ampirik tahminlerini sağlamaları anlamında doymuştur. Model 1'deki faktör değişkeni kodlaması için açık olabilir. İkinci dereceden bir eğilim için, ikinci dereceden formül herhangi bir 3 noktayı enterpole edebilir. Kontrastlar farklı olsa da, her iki modelde de sadece kesişen bir modelin sıfırına karşı yapılan global test aynı çıkarım sağlar.

— Adamo
kaynak