ANOVA vs çoklu doğrusal regresyon? ANOVA neden deneysel çalışmalarda bu kadar yaygın olarak kullanılıyor?

ANOVA vs çoklu doğrusal regresyon?

Her iki yöntemin de aynı istatistiksel modeli kullandığını biliyorum. Ancak hangi koşullar altında hangi yöntemi kullanmalıyım?

Bu yöntemlerin kıyaslandığında avantaj ve dezavantajları nelerdir?

ANOVA neden deneysel çalışmalarda bu kadar yaygın olarak kullanılıyor ve hiçbir zaman bir regresyon çalışması bulamıyorum?

Farklılığın değişken türünde ve daha da açıklayıcı değişken türlerinde olduğunu anlamak ilginç olurdu . Tipik ANOVA'da farklı gruplara sahip kategorik bir değişkenimiz var ve sürekli bir değişkenin ölçümünün gruplar arasında farklılık gösterip göstermediğini belirlemeye çalışıyoruz. Öte yandan, OLS, sürekli bir gerileme veya tepki değişkeni ile bir veya daha fazla gerileme veya açıklayıcı değişken arasındaki ilişkiyi değerlendirme girişimi olarak algılanma eğilimindedir . Bu anlamda, regresyon kendini bir regresyon çizgisine dayanan değerleri tahmin etmeye borç vererek farklı bir teknik olarak görülebilir.

Ancak , bu fark ANOVA'nın varyans alfabe çorbasının (ANCOVA, MANOVA, MANCOVA) analizinin geri kalanına yayılmasına dayanmamaktadır; veya kukla kodlu değişkenlerin OLS regresyonuna dahil edilmesi. Belirli tarihi yerler hakkında net değilim ama sanırım her iki teknik de giderek daha karmaşık modellerle başa çıkmak için paralel uyarlamalar geliştirdi.

Örneğin, ANCOVA ile OLS ve OLS arasındaki farkların kukla (veya kategorik) değişkenlerle (etkileşimli her iki durumda) en fazla kozmetik olduğunu görebiliriz. Lütfen ayrılmamı, çoklu lineer regresyonla ilgili olarak, sorunuzun başlığındaki sınırlardan alayım.

Her iki durumda da, model R içinde bu noktaya kadar esasen özdeş olan fonksiyon ANCOVA gerçekleştirmek için kullanılırlm . Ancak, regresyon modelinde faktör (veya kategorik) değişkenin birinci seviyesine (veya grubuna) karşılık gelen bir kesişimin dahil edilmesi bakımından farklı olarak sunulabilir.

Dengeli bir modelde (eşit büyüklükte grupları, n 1 , 2 , $i$ ) ve sadece bir ortak değişken (matris sunumunu basitleştirmek için), ANCOVA'daki model matrisine bazı varyasyonlar olarak rastlanabilir:$n_{1,2,\cdots\, i}$

$$X=\begin{bmatrix} 1_{n_1} & 0 & 0 & x_{n_1} & 0 & 0\\ 0 & 1_{n_2} & 0 & 0 & x_{n_2} & 0\\ 0 & 0 & 1_{n_3} & 0 & 0 & x_{n_3} \end{bmatrix}$$

blok faktörü olarak ifade edilen faktör değişkeninin 3 grubu için .$3$

Bu doğrusal modele karşılık gelir:

ile α i ANOVA modelinde farklı grup vasıtasıyla eşdeğer farklı ise β 'in elde edilmiş her grup için ortak değişken eğimleri vardır.

$$y = \alpha_i + \beta_1\, x_{n_1}+ \beta_2\,x_{n_2} \,+ \beta_3\,x_{n_3}\,+ \epsilon_i$$ $\alpha_i$$\beta$

Aynı modelin regresyon alanında ve özellikle R'de sunulması, gruplardan birine karşılık gelen genel bir engelleme olduğunu düşünür ve model matrisi şu şekilde sunulabilir:

$$X=\begin{bmatrix} \color{red}\vdots & 0 & 0 &\color{red}\vdots & 0 &0 & 0\\ \color{red}{J_{3n,1}} & 1_{n_2} & 0 & \color{red}{x} & 0 & x_{n_2} & 0\\ \color{red}\vdots& 0 & 1_{n_3} & \color{red}\vdots & 0 & 0 & x_{n_3} \end{bmatrix}$$

OLS denkleminin

.

$$y =\color{red}{\beta_0} + \mu_i +\beta_1\, x_{n_1}+ \beta_2\,x_{n_2} \,+ \beta_3\,x_{n_3}\,+ \epsilon_i$$

Bu modelde, genel kesimi her grup seviyesinde μ i tarafından değiştirilir ve gruplar aynı zamanda farklı eğimlere sahiptir.$\beta_0$$\mu_i$

Model matrislerinden görebileceğiniz gibi, sunum regresyon ve varyans analizi arasındaki gerçek kimliğe inanmaktadır.

Bunu bazı kod satırları ve R'deki en sevdiğim verilerlemtcars doğrulamayı seviyorum . Buradalm bulunan Ben Bolker gazetesine göre ANCOVA kullanıyorum .

mtcars$cyl <- as.factor(mtcars$cyl)         # Cylinders variable into factor w 3 levels
D <- mtcars  # The data set will be called D.
D <- D[order(D$cyl, decreasing = FALSE),]   # Ordering obs. for block matrices.

model.matrix(lm(mpg ~ wt * cyl, D))         # This is the model matrix for ANCOVA

Hangi yöntemin kullanılacağı (R ile regresyon!) Hakkındaki soruya gelince, bu yazıyı yazarken karşılaştığım bu çevrimiçi yorumu eğlenceli bulabilirsiniz .

ANOVA ve OLS regresyonu, öngörücülerinizin kategorik olduğu durumlarda (test istatistiğinden çıkardığınız sonuçlar bakımından) matematiksel olarak aynıdır. Başka bir deyişle, ANOVA özel bir regresyon örneğidir. Bir ANOVA'nın size, regresyonun kendisini elde edemediğini söyleyebileceği hiçbir şey yoktur. Ancak bunun tersi doğru değildir. ANOVA sürekli değişkenli analizlerde kullanılamaz. Bu haliyle, ANOVA daha sınırlı teknik olarak sınıflandırılabilir. Bununla birlikte, regresyon, daha az karmaşık analist için her zaman bu kadar kullanışlı değildir. Örneğin, çoğu ANOVA betiği otomatik olarak etkileşim terimleri oluşturur; regresyonda olduğu gibi, sık sık bu terimleri kendiniz yazılımı kullanarak kendiniz hesaplamanız gerekir. ANOVA'nın yaygın kullanımı, kısmen daha güçlü istatistiksel yazılımların kullanılmasından önce istatistiksel analizin bir kalıntısıdır. ve bence, amacı, verileri temel bir istatistiksel paketle analiz etmelerini sağlayacak, nispeten yüzeysel bir anlayış olan deneyimsiz öğrencilere öğretmek için daha kolay bir teknik. Bir ara deneyin ... Temel bir regresyonun yayıldığı istatistiklerini inceleyin, kare haline getirin ve sonra aynı verilerdeki ANOVA'dan F oranıyla karşılaştırın. Özdeş!

ANOVA'nın gerilemesinin ana yararı, bence, çıktıda. Kategorik değişkenin (faktör) bir blok olarak istatistiksel önemi ile ilgileniyorsanız, ANOVA bu testi size sunar. Regresyonda, kategorik değişken, kategori sayısına bağlı olarak 2 veya daha fazla kukla değişkenle temsil edilir ve bu nedenle, her biri null kategorinin (veya kukla kodlama yöntemine bağlı olarak genel ortalama). Bunların hiçbiri ilgi çekici olmayabilir. Bu nedenle, ilgilendiğiniz faktörün genel testini almak için tahmin sonrası analiz (özellikle ANOVA) yapmalısınız.

Doğrusal regresyonun en büyük avantajı, gruplar arasında örneklem büyüklüklerinin eşit olmadığı durumlarda değişkenliğin homojenliğini ihlal etmesine karşı dayanıklı olmasıdır. Bir diğeri, birkaç eş değişkenin dahil edilmesini kolaylaştırmasıdır (bununla birlikte, tek bir eş değişken dahil etmekle ilgilendiğinizde ANCOVA aracılığıyla da kolayca gerçekleştirilebilir). Yetmişli yıllarda bilgisayar gücündeki gelişmelerin ortaya çıkmasıyla birlikte gerileme yaygınlaştı. İkiden fazla seviye varken, bir kategorik değişkenin belirli seviyeleri arasındaki farkları incelemekle özellikle ilgileniyorsanız, bu regresyonda yapay değişkeni kurduğunuz sürece, bu iki seviyeden birini ayarlayarak referans grubunu temsil eder).