ANOVA neden doğrusal regresyona eşittir?

ANOVA ve lineer regresyonun aynı olduğunu okudum. Bu, ANOVA çıktısının, bir değeri ve farklı numuneler boyunca numune anlamına gelirse, aynı veya farklı olup olmadığına karar verdiğiniz bir değeri olduğunu göz önünde bulundurarak olabilir .$F$$p$

Ancak, araçların eşit olmadığını varsayalım (boş hipotezi reddet), ANOVA size doğrusal modelin katsayıları hakkında hiçbir şey söylemez. Öyleyse lineer regresyon ANOVA ile aynı mıdır?

ANOVA ve doğrusal regresyon, iki model aynı hipotezlere karşı test ettiğinde ve aynı bir kodlama kullandığında aynıdır. Modeller temel amaçlarına göre farklılık gösterir: ANOVA çoğunlukla verilerdeki kategorilerin ortalamaları arasındaki farkları sunmakla ilgilenirken, doğrusal regresyon çoğunlukla bir örnek ortalama cevabını ve bununla ilişkili bir tahmin etmekle ilgilenir .$\sigma^2$

Biraz aforist olarak, ANOVA'yı kukla değişkenli bir regresyon olarak tanımlayabilir. Bunun kategorik değişkenlerle basit regresyonda olduğunu kolayca görebiliriz. Kategorik bir değişken gösterge matrisi olarak kodlanacaktır (bir 0/1öznenin belirli bir grubun parçası olup olmamasına bağlı olarak bir matris) olarak kodlanacak ve daha sonra doğrudan doğrusal bir regresyon tarafından tanımlanan doğrusal sistemin çözümü için kullanılacaktır. 5 gruba sahip bir örnek görelim. Argüman uğruna, group1eşittir 1'in ortalamasının, group2eşittir 2'nin ortalamasının… ve group5eşittir 5'inin ortalaması olduğunu kabul edeceğim (MATLAB kullanıyorum, ancak aynı şey R'de eşittir).

rng(123);               % Fix the seed
X = randi(5,100,1);     % Generate 100 random integer U[1,5]
Y = X + randn(100,1);   % Generate my response sample
Xcat = categorical(X);  % Treat the integers are categories

% One-way ANOVA
[anovaPval,anovatab,stats] = anova1(Y,Xcat);
% Linear regression
fitObj = fitlm(Xcat,Y);

% Get the group means from the ANOVA
ANOVAgroupMeans = stats.means
% ANOVAgroupMeans =
% 1.0953    1.8421    2.7350    4.2321    5.0517

% Get the beta coefficients from the linear regression
LRbetas = [fitObj.Coefficients.Estimate'] 
% LRbetas =
% 1.0953    0.7468    1.6398    3.1368    3.9565

% Rescale the betas according the intercept
scaledLRbetas = [LRbetas(1) LRbetas(1)+LRbetas(2:5)]
% scaledLRbetas =
% 1.0953    1.8421    2.7350    4.2321    5.0517

% Check if the two results are numerically equivalent
abs(max( scaledLRbetas - ANOVAgroupMeans)) 
% ans =
% 2.6645e-15

Bu senaryoda da görülebileceği gibi, sonuçlar tamamen aynıdır. Sayısal küçük fark, tasarımın altında yatan tahmin prosedürünün yanı sıra mükemmel bir şekilde dengelenmemesinden kaynaklanmaktadır; ANOVA, sayısal hataları biraz daha agresif şekilde biriktirir. Bu açıdan bir kesişime uyuyoruz LRbetas(1); engelsiz bir modele uyabilirdik ama bu "standart" bir doğrusal regresyon olmazdı. (Bu durumda sonuçlar ANOVA'ya bile daha yakın olacaktır.)

ANOVA durumunda ve doğrusal regresyon durumunda -statistic (araçlarının bir oran) olarak aynı zamanda, yukarıda, örneğin aynı olacaktır:$F$

abs( fitObj.anova.F(1) - anovatab{2,5} )
% ans =
% 2.9132e-13 

Bunun nedeni, prosedürlerin aynı hipotezi test etmesidir, ancak farklı kelimelerle: ANOVA " oranlamanın gruplaşmanın mümkün olmadığını gösterecek kadar yüksek olduğunu" nitel olarak kontrol ederken doğrusal regresyon, sadece oranın sadece bir engelleme önerecek kadar yüksek olup olmadığını nitel olarak kontrol edecektir. model muhtemelen yetersiz ".
(Bu, " sıfır hipotezi altında gözlemlenen değere eşit veya daha büyük bir değer görme olasılığı " nın biraz serbestçe yorumlanmasıdır ve bir metin-kitap tanımı olduğu anlamına gelmez.)

" ANOVA size doğrusal modelin katsayıları hakkında hiçbir şey söylemediğini " (ancak araçların eşit olmadığı varsayılarak) hakkında sorunuzun son kısmına geri dönersek, umarım artık tasarımınızın ANOVA olduğunu görebilirsiniz. yeterince basit / dengeli , doğrusal bir modelin yapabileceği her şeyi size söyler. Grup ortalamaları için güven aralıkları hesabınızla aynı olacaktır.$\beta$Açıkçası, bunlar regresyon modelinde çoklu değişkenler eklemeye başladığında, basit bir tek yönlü ANOVA'nın doğrudan bir denkliği yoktur. Bu durumda, tek yönlü bir ANOVA için doğrudan bulunmayan bilgilerle doğrusal regresyonun ortalama cevabını hesaplamak için kullanılan bilgiler artırılır. İnsanların ANOVA terimlerini bir kez daha ifade edebileceklerine inanıyorum ama bu çoğunlukla akademik bir alıştırma.

Konuyla ilgili ilginç bir makale Gelman'ın 2005 tarihli makalesi: Varyans Analizi - Neden her zamankinden daha önemli ? Bazı önemli noktalar gündeme getirildi; Makaleyi tam olarak desteklemiyorum (Sanırım McCullach'ın görüşüyle ​​kişisel olarak daha fazla uyuştuğumu düşünüyorum) ama yapıcı bir okuma olabilir.

Son bir not olarak: Karma efektli modellerde arsa artar . Orada, verilerinizin gruplandırılmasıyla ilgili olarak neyin sıkıntı yaratabileceği veya gerçek bilgiler olarak değerlendirilebilecek farklı kavramlara sahipsiniz. Bu meseleler, bu sorunun kapsamı dışında ancak bir başını sallamaya değer olduğunu düşünüyorum.

Kategorik ( kukla kodlu ) regresörlü OLS'nin ANOVA'daki faktörlere eşdeğer olduğu fikrine biraz renk vermeme izin verin . Her iki durumda da seviyeler vardır (veya ANOVA durumunda gruplar ).

OLS regresyonunda, regresörlerde sürekli değişkenlerin olması en yaygın olanıdır. Bunlar, uygun modeldeki kategorik değişkenler ile bağımlı değişken (DC) arasındaki ilişkiyi mantıksal olarak değiştirir. Ancak paralelin tanınmaz hale getirilme noktasına gelmiyor.

mtcarsVeri setine dayanarak, ilk önce modeli lm(mpg ~ wt + as.factor(cyl), data = mtcars)sürekli değişken wt(ağırlık) tarafından belirlenen eğim ve kategorik değişkenin cylinder(dört, altı veya sekiz silindir) etkisini yansıtan farklı kavşaklar olarak görselleştirebiliriz . Tek yönlü bir ANOVA ile paralel oluşturan bu son kısımdır.

Sağdaki alt arsa üzerinde grafiksel olarak görelim (hemen ardından tartışılan ANOVA modeliyle yan yana karşılaştırma için soldaki üç alt grafik dahil edilmiştir):

Her bir silindir motoru renk kodludur ve farklı kavramalara sahip takılı çizgiler ile veri bulutu arasındaki mesafe bir ANOVA'daki grup içi değişimin eşdeğeridir. Sürekli bir değişken ile (en küçük kareler model kesişir olduğuna dikkat edin weight) bağlı etkisiyle, matematiksel ANOVA farklı olan grup araçlarının değeri ile aynı değildir weightve farklı bir model matrisleri (aşağıya bakınız): ortalama mpgiçin 4 silindirli araba, örneğin, bir mean(mtcars$mpg[mtcars$cyl==4]) #[1] 26.66364, en küçük kareler "taban çizgisi" kesişim ise (genel olarak yansıtan cyl==4(düşük R sipariş yüksek rakamın)) belirgin bir şekilde farklıdır: summary(fit)$coef[1] #[1] 33.99079. Çizgilerin eğimi, sürekli değişken için katsayıdır weight.

weightBu çizgileri zihinsel olarak düzleştirerek ve bunları yatay çizgiye döndürerek etkisini bastırmaya çalışırsanız , modelin ANOVA arsası ile aov(mtcars$mpg ~ as.factor(mtcars$cyl))soldaki üç alt arsa üzerinde durursunuz. weightGeri çekici üzerinden şimdi, ama farklı durumlara puan arasında bir ilişki yaklaşık olarak korunur - Sadece basit "görmesini" görsel bir cihaz olarak, saat yönünün tersine döner ve tekrar her farklı seviyede (daha önce üst üste gelen araziler yayılıyor bağlantı, matematiksel bir eşitlik olarak değil, çünkü iki farklı modeli karşılaştırıyoruz!).

Faktördeki her seviye cylinderayrıdır ve dikey çizgiler artıkları veya grup içi hatayı temsil eder: buluttaki her noktadan uzaklık ve her seviye için ortalama (renk kodlu yatay çizgi). Renk gradyanı bize, seviyelerin modeli doğrulamada ne kadar önemli olduğunun bir göstergesidir: veri noktaları grup ortalamaları etrafında ne kadar kümelenirse, ANOVA modelinin istatistiksel olarak anlamlı olması o kadar olasıdır. Tüm grafiklerdeki etrafındaki yatay siyah çizgi tüm faktörlerin ortalamasıdır. ekseni içindeki sayılar, her seviye içindeki her nokta için yer tutucusu numarası / tanımlayıcısıdır ve yatay çizgiler boyunca noktaları çizerek farklı bir çizim göstermesine izin vermek için noktaları ayırmaktan başka bir amacı yoktur.$\small 20$$x$

Ve bu dikey bölümlerin toplamı aracılığıyla artıkları manuel olarak hesaplayabiliriz:

mu_mpg <- mean(mtcars$mpg)                      # Mean mpg in dataset
TSS <- sum((mtcars$mpg - mu_mpg)^2)             # Total sum of squares
SumSq=sum((mtcars[mtcars$cyl==4,"mpg"]-mean(mtcars[mtcars$cyl=="4","mpg"]))^2)+
sum((mtcars[mtcars$cyl==6,"mpg"] - mean(mtcars[mtcars$cyl=="6","mpg"]))^2)+
sum((mtcars[mtcars$cyl==8,"mpg"] - mean(mtcars[mtcars$cyl=="8","mpg"]))^2)

Sonuç: SumSq = 301.2626ve TSS - SumSq = 824.7846. Karşılaştırmak:

Call:
   aov(formula = mtcars$mpg ~ as.factor(mtcars$cyl))

Terms:
                as.factor(mtcars$cyl) Residuals
Sum of Squares               824.7846  301.2626
Deg. of Freedom                     2        29

Tam olarak aynı sonuç bir ANOVA ile test edildiğinde lineer model sadece cylinderregresör olarak kategorik olarak yapılır:

fit <- lm(mpg ~ as.factor(cyl), data = mtcars)
summary(fit)
anova(fit)

Analysis of Variance Table

Response: mpg
               Df Sum Sq Mean Sq F value    Pr(>F)    
as.factor(cyl)  2 824.78  412.39  39.697 4.979e-09 ***
Residuals      29 301.26   10.39 

Öyleyse gördüğümüz şey, artıkların - model tarafından açıklanmayan toplam varyansın bir parçası - varyansın, türün bir OLS lm(DV ~ factors)veya bir ANOVA ( aov(DV ~ factors)): Sürekli değişkenlerin modelini özdeş bir sistemle bitiriyoruz. Benzer şekilde, modelleri küresel olarak veya çok amaçlı bir ANOVA (seviye seviyesine göre değil) olarak değerlendirdiğimizde, doğal olarak aynı p değerini elde ederiz F-statistic: 39.7 on 2 and 29 DF, p-value: 4.979e-09.

Bu, bireysel seviyelerin test edilmesinin aynı p-değerleri vereceği anlamına gelmez. OLS durumunda, şunu çağırabilir summary(fit)ve alabiliriz:

lm(formula = mpg ~ as.factor(cyl), data = mtcars)

                Estimate Std. Error t value                           Pr(>|t|)    
(Intercept)      26.6636     0.9718  27.437                           < 2e-16 ***
as.factor(cyl)6  -6.9208     1.5583  -4.441                           0.000119 ***
as.factor(cyl)8 -11.5636     1.2986  -8.905                           8.57e-10 ***

Bu çok amaçlı bir testten daha fazlası olan ANOVA'da mümkün değildir. Bu türden değer değerlendirmelerine sahip olmak için, çoklu çift karşılaştırmalar (dolayısıyla, " ") sonucunda ortaya çıkan bir tür I hatası olasılığını azaltmaya çalışacak bir Tukey En Dürüst Önemli Fark testi yapmamız gerekir. tamamen farklı çıktı:$p$p adjusted

  Tukey multiple comparisons of means
    95% family-wise confidence level

Fit: aov(formula = mtcars$mpg ~ as.factor(mtcars$cyl))

$`as.factor(mtcars$cyl)`
          diff        lwr        upr                                      p adj
6-4  -6.920779 -10.769350 -3.0722086                                    0.0003424
8-4 -11.563636 -14.770779 -8.3564942                                    0.0000000
8-6  -4.642857  -8.327583 -0.9581313                                    0.0112287

Sonuçta, hiçbir şey, model matrislerinden ve sütun uzayındaki çıkıntılardan başka bir şey olmayan, kaputun altındaki motora göz atmaktan daha güven verici değildir. Bunlar bir ANOVA için oldukça basittir:

$$\small\begin{bmatrix} y_1 \\ y_2 \\ y_3 \\ \vdots \\\vdots\\\vdots\\.\\y_n \end{bmatrix} = \begin{bmatrix} \color{magenta} 1 & 0 & 0 \\ \color{magenta}1 & 0 & 0 \\ \vdots & \vdots & \vdots \\ \color{magenta} 0 & 1 & 0 \\ \color{magenta}0 & 1 & 0 \\ \vdots & \vdots & \vdots \\ .&.&.\\\color{magenta} 0 & 0 & 1 \\ \color{magenta}0 & 0 & 1 \\ \end{bmatrix} \begin{bmatrix} \mu_1\\ \mu_2\\ \mu_3 \end{bmatrix} +\begin{bmatrix} \varepsilon_1 \\ \varepsilon_2\\ \varepsilon_3\\ \vdots\\ \vdots\\ \vdots\\ .\\ \varepsilon_n \end{bmatrix}\tag 1$$

Bu üç düzeyde (örneğin, tek yönlü ANOVA modelinde matrisi olacaktır cyl 4, cyl 6, cyl 8), şu şekilde özetlenebilir , her düzeyde veya grubu ortalamasıdır: zaman gözlem hata veya kalıntı grubu ya da seviyesinin ilave edilir, gerçek DV elde gözlem.$\small y_{ij} = \mu_i + \epsilon_{ij}$$\mu_i$$j$$i$$y_{ij}$

Öte yandan, bir OLS regresyonu için model matrisi:

$$\small\begin{bmatrix}y_1 \\ y_2 \\ y_3 \\ y_4 \\ \vdots \\ y_n \end{bmatrix} = \begin{bmatrix} 1 & x_{12} & x_{13}\\ 1 & x_{22} & x_{23} \\ 1 & x_{32} & x_{33} \\ 1 & x_{42} & x_{43} \\ \vdots & \vdots & \vdots \\1 & x_{n2} & x_{n3} \end{bmatrix} \begin{bmatrix} \beta_0 \\ \beta_1 \\ \beta_2 \end{bmatrix} + \begin{bmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \varepsilon_3 \\ \varepsilon_4 \\ \vdots \\ \varepsilon_n \end{bmatrix}$$

Bu, olup, her biri için tek bir kesişme ve iki eğim ( ve ) şeklindedir. farklı bir sürekli değişken, say ve .$\small y_i = \beta_0 + \beta_1\, x_{i1} + \beta_2\, x_{i2} + \epsilon_i$$\beta_0$$\beta_1$$\beta_2$weightdisplacement

Şimdiki püf noktası, ilk örnekte olduğu gibi, farklı kavşakları nasıl yaratabileceğimizi görmektir lm(mpg ~ wt + as.factor(cyl), data = mtcars)- bu yüzden ikinci eğimden kurtulalım ve orijinal tek sürekli değişkene weight(diğer bir deyişle, bir sütunun yanı sıra tek bir sütuna yapışalım). model matrisi, kesişme ve eğim , ). ' sütunu varsayılan olarak araya girmeye karşılık gelecektir . Yine, değeri, grup içi ortalama için ANOVA ile aynı değildir , OLS model matrisindeki (aşağıda) 's sütununun (aşağıda) nin ilk sütunu ile karşılaştırılması şaşırtıcı olmamalıdır .$\beta_0$weight$\beta_1$$\color{brown}1$cyl 4cyl 4$\color{brown}1$$\color{magenta}1$Sadece 4 silindirli örnekleri seçen ANOVA model matrisinde . Kesişme etkisini açıklamak için kodlama taklit ile kaydırılır ve aşağıdaki gibidir:$(1),$cyl 6cyl 8

$$\small\begin{bmatrix}y_1 \\ y_2 \\ y_3 \\ y_4\\ y_5 \\ \vdots \\ y_n\end{bmatrix} = \begin{bmatrix} \color{brown}1 & x_1 \\ \color{brown}1 & x_2 \\\color{brown} 1 & x_3 \\ \color{brown}1 & x_4 \\ \color{brown}1 & x_5 \\ \vdots & \vdots \\\color{brown}1 & x_n \end{bmatrix} \begin{bmatrix} \beta_0 \\ \beta_1 \end{bmatrix}+ \begin{bmatrix}\color{red}1&0\\\color{red}1&0\\\color{red}1&0\\0&\color{blue}1\\0&\color{blue}1\\ \vdots & \vdots\\0&\color{blue}1\end{bmatrix} \begin{bmatrix} \tilde\mu_2 \\ \tilde\mu_3 \end{bmatrix} + \begin{bmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \varepsilon_3 \\ \varepsilon_4 \\ \varepsilon_5\\ \vdots \\ \varepsilon_n \end{bmatrix}$$

Şimdi, üçüncü sütun olduğunda, sistematik olarak kesişimi En Küçük Kareler Model 4-silindirli otomobillerin grubunu ifade etmek için aynıdır, ancak yansıtma değil "taban" kesişim durumunda olduğu gibi, olduğunu gösterir, en küçük kareler model seviyeleri arasındaki farklar değildir matematiksel gruplar arası farklar şu anlama gelir:$\color{red}1$$\tilde\mu_2.$$\tilde\cdot$

fit <- lm(mpg ~ wt + as.factor(cyl), data = mtcars)
summary(fit)$coef[3] #[1] -4.255582 (difference between intercepts cyl==4 and cyl==6 in OLS)
fit <- lm(mpg ~ as.factor(cyl), data = mtcars)
summary(fit)$coef[2] #[1] -6.920779 (difference between group mean cyl==4 and cyl==6)

Benzer şekilde, dördüncü sütun , sabit bir değer eklenecektir. Dolayısıyla matris denklemi . Bu nedenle, bu modelle ANOVA modeline gitmek, sürekli değişkenlerden kurtulmaktan ibarettir ve OLS'deki varsayılan engellemenin ANOVA'daki birinci seviyeyi yansıttığını anlamaktır.$\color{blue}1$$\tilde\mu_3$$\small y_i = \beta_0 + \beta_1\, x_i + \tilde\mu_i + \epsilon_i$

Antoni Parellada ve us11112 çok iyi cevap verdiler. Kodlama perspektifiyle ilgili sorunuza cevap vereceğim R.

ANOVA size lineer modelin katsayıları hakkında hiçbir şey söylemez. Öyleyse lineer regresyon ANOVA ile aynı mıdır?

Aslında aovişlev Rgörebiliriz olarak aynı şekilde kullanılabilir lm. İşte bazı örnekler.

> lm_fit=lm(mpg~as.factor(cyl),mtcars)

> aov_fit=aov(mpg~as.factor(cyl),mtcars)

> coef(lm_fit)
    (Intercept) as.factor(cyl)6 as.factor(cyl)8 
      26.663636       -6.920779      -11.563636 

> coef(aov_fit)
    (Intercept) as.factor(cyl)6 as.factor(cyl)8 
      26.663636       -6.920779      -11.563636 

> all(predict(lm_fit,mtcars)==predict(aov_fit,mtcars))
[1] TRUE

Gördüğünüz gibi, yalnızca ANOVA modelinden katsayı elde edemiyoruz, aynı zamanda onu tahmin etmek için de kullanıyoruz, tıpkı doğrusal model gibi.

Yardım dosyasını aovişlev için kontrol edersek

Bu , lineer modelleri dengelenmiş veya dengesiz deneysel tasarımlara takmak için lm'ye bir sarıcı sağlar . Lm'den ana fark, baskı, özet vb. Uyum için geçerlidir. Bu, doğrusal modellerden ziyade varyans analizinin geleneksel dilinde ifade edilir.

Tüm veri girişlerini alır ve bunları tek bir Y sütununda düzenlersek, geri kalan sütunların gösterge değişkenleri 1 olması koşuluyla, {{bu veriler orijinal anova düzenlemesindeki jth sütununun öğesidir}, sonra basit bir Y doğrusal regresyon alarak diğer sütunlardan herhangi birini (B sütununu söyleyin), ANOVA probleminizde olduğu gibi aynı DF, SS, MS ve F test istatistiklerini elde etmelisiniz.

Böylece ANOVA, verileri ikili değişkenlerle yazarak Doğrusal Regresyon olarak kabul edilebilir. Ayrıca, örneğin B üzerindeki Y regresyonu için regresyon katsayısının, avg ile aynı olması gerektiğini unutmayın. B sütununun orijinal verilerle hesaplanması.