Regresyon analizi ile varyans analizi arasındaki fark?


21

Şu an regresyon analizi ve varyans analizi hakkında öğreniyorum.

Regresyon analizinde sabit bir değişkeniniz vardır ve değişkenin diğer değişkenle nasıl gittiğini bilmek istersiniz.

Varyans analizinde örneğin bilmek istersiniz: Bu belirli hayvan yemi hayvanların ağırlığını etkiliyorsa ... bir sabit var ve diğerleri üzerindeki etkisi ...

Bu doğru mu yanlış mı, pls bana yardım etsin ...

Yanıtlar:


25

Veri kümesi kümesi oluşur varsayalım için ve bağımlılığı bakmak istiyorum üzerinde .i = 1 , ... , n, Y x(xben,yben)ben=1,...,nyx

Eğer değerlerin bulmak varsayalım ve ve ve kareler kalıntı toplamı en aza indirmek Sonra almak tahmin için herhangi-değeri (mutlaka daha önce gözlenmemiştir) -değeri. Bu doğrusal regresyon. β αβ n Σ i=1(yı-(α+βxi))2. Y = α + β xyxα^β^αβ

Σben=1n(yben-(α+βxben))2.
y^=α^+β^xyx

Şimdi toplam kareler toplamını ile serbestlik derecesi, "açıklanmış" ve "açıklanamayan" kısımlara: ile ve sırasıyla serbestlik derecesi,. Bu bir varyans analizidir ve biri F-istatistik gibi şeyleri dikkate alır. Bu n-1 N Σ i = 1 ( ( α + β x i ) - ˉ y ) 2 açıklandığı+ n Σ i = 1 ( y ı - ( α + β x i ) ) 2 açıklanamayan. 1n-2F= n i =

Σben=1n(yben-y¯)2nerede y¯=y1++ynn
n-1
Σben=1n((α^+β^xben)-y¯)2açıkladı + Σben=1n(yben-(α^+β^xben))2açıklanmamış.
1n-2β=0
F=Σben=1n((α^+β^xben)-y¯)2/1Σben=1n(yben-(α^+β^xben))2/(n-2).
F-istatistiği sıfır hipotezini test eder .β=0

Bir çoğu İlk karşılaştığında şekliyle "Varyans Analizi" belirleyicisi böylece model oturtma olduğuna göre, kategoriktir olan kategori tanımlar prediktörü değeridir. Varsa kategorileri, sen alırdım F-istatistiğinin içinde payındaki serbestlik derecelerini ve genellikle payda serbestlik derecesi. Ancak, regresyon ve varyans analizi arasındaki ayrım bu tür bir model için hala aynıdır. i k k - 1 , n - k

y=α+βben
benkk-1n-k

Birkaç ek puan:

  • Bazı matematikçiler için yukarıdaki hesap tüm alanın yalnızca yukarıda görüldüğü gibi görünmesini sağlayabilir, bu nedenle hem regresyonun hem de varyans analizinin aktif araştırma alanları olduğu gizemli görünebilir. Buraya göndermek için uygun bir cevaba sığmayacak çok şey var.
  • Popüler ve cazip bir hata var, buna "doğrusal" denir, çünkü grafiği bir çizgidir. Bu yanlış. Daha önceki cevaplarımdan biri, en küçük kareler yoluyla bir polinom takarken neden hala “doğrusal regresyon” olarak adlandırıldığını açıklıyor.y=α+βx

5
@MichaelHardy Regresyondaki varyansın bileşenlere ayrışması genellikle varyans tablosunun analizi olarak adlandırılır. İstatistikçilerin ANOVA ile sıkça kastettiği şey bu değildir. 1) doğrusal regresyon, 2) varyans analizi ve 3) kovaryans analizi, genel doğrusal modelin genel başlığı altındaki kategorilerdir, doğrusal regresyon, sürekli değişkenleri içerir, ANOVA, sadece ayrı grupları içerir ve ANCOVA, sürekli değişkenlerin bir birleşimidir ve ayrık gruplar.
Michael R. Chernick

1
Gayriresmi biri bazen bu şekilde konuşur ve cevabım bunu söylemedi, ama bir kişi (1) katsayıların en küçük kareler tahmininin her iki problemden (sürekli veya kategorik tahminler) ya da toplamın ayrıştırılmasında yapıldığını bilmeli. İki serbestlik derecesine sahip karelerden oluşan bir --- bir anova masası --- bu iki problemden herhangi birinde de yapılır.
Michael Hardy

5
Bu imtiyaz ile o zaman cevabımda yanlış bir şey olmadığını kabul etmelisin. Ayrıca ANOVA, ANCOVA ve regresyon terimleri gayri resmi terimler değildir. Çok belirgin bir biçimde resmidirler ve OP'ye, ANOVA'nın regresyondaki varyansın ayrışması olduğunu söylemek yanlıştır. Anova adlı birisinin istatistiksel bir prosedürünün herhangi bir doğrusal model yapabileceği gerçeği hiçbir şeyi kanıtlamaz. SAS proc reg'de sadece regresyon ile ilgileniyor, proc anova sadece tanımladığım gibi varyans analizi ile ilgileniyor ve proc glm her ikisini de yapıyor.
Michael R. Chernick

1
.... ve R'de, "lm (....)" her iki durumda da regresyon katsayıları verir ve "anova (lm (....))", kare ve serbestlik derecelerinin toplamının ayrışmasını verir, içinde her iki durumda. "Kabul etmeliyim" deyince, cevabınızın altına başka yorumlar da ekledim. Kuşkusuz lojistik regresyondan bahsedecekseniz, doğrusal regresyondan bahsetmez konuşmaz, "regresyon" kelimesinin birçok şeyi içerebilecek çok geniş bir terim olduğunu söylerseniz daha net olur.
Michael Hardy

@MichaelHardy İstatistikler hakkındaki soruları üzerine yorum yapmaktan çekinmeyin. Cevabınızın ve bu soruya verdiğim cevabın her ikisinin de bir şekilde doğru olduğunu düşünüyorum. Kesinlikle cevabımın oylanmamasına itiraz ediyorum. İstatistik topluluğunun bu konudaki görüşlerini almak istedim.
Michael R. Chernick

5

En büyük fark, cevap değişkenidir. Lojistik regresyon, doğrusal regresyon analizinde ikili bir yanıtla ve aynı zamanda doğrusal olmayan regresyon ile ilgilenirken, yanıt değişkeni süreklidir. Sürekli yanıt değişkeni ile işlevsel bir ilişkisi olan bir değişken (ler) in (aka ortak değişkenler) var. Varyans analizinde cevap süreklidir ancak birkaç farklı kategoriye aittir (örn. Tedavi grubu ve kontrol grubu). Varyans analizinde, gruplar arasındaki ortalama cevapta farklılık ararsınız. Doğrusal regresyonda, değişkenler değiştikçe yanıtın nasıl değiştiğine bakarsınız. Farklılığa bakmanın başka bir yolu da, regresyonda değişkenlerin sürekli olduğunu, varyans analizinde ise ayrık grupların olduğunu söylemektir.


6
Doğrusal regresyon ile varyans analizi arasındaki farkı ifade etmek için soruyu sorardım; lojistik regresyon getirerek konudan uzaklaşıyor gibi görünüyor. Ancak, son cümle yanlıştır. Varyans analizi, tahmincilerin ayrık veya sürekli olmasına bakılmaksızın yapılabilir.
Michael Hardy

1
Varyans analizinde gerçekten yordayıcılar var. Örneğinizde, yordayıcı kategoriktir, ancak böyle olması gerekmez. Varyans analizi sadece "ayrık grupları" içeren problemleri dikkate almaz .
Michael Hardy

3
@MichaelHardy Geri adım atıyorum çünkü istatistiksel ansiklopedileri kontrol ettiğimde, genel doğrusal modelde varyansın ayrışması açısından varyans analizine referans buluyorum. Ancak bu terimin iki anlamı vardır ve ANOVA sıklıkla ANCOVA'dan ve regresyonda tarif ettiğim şekilde ayırt edilir. Öyleyse, OP hem genel doğrusal modeldeki değişkenlik bileşenleri hakkında sonsuz olanı ifade eden, hem de yalnızca ayrı grupları içeren doğrusal modellerin alt sınıfına karşılık gelen terimin farkında olmalıdır.
Michael R. Chernick

2
Gayri resmi olarak kullandığınız kullanımı düşünüyorum. Lojistik regresyondan bahsetmek garip gözüküyor, bunun bir çeşit "regresyon" dan sadece biri olduğunu söylemeden garip görünüyor, bu terim geniş bir anlamda başka bir değişkene verilen bir değişkenin ortalama veya öngörülen değerini tahmin etme anlamında kullanıldığında ve sonra bunu varyans analizinden ayırt etmek . Ancak doğrusal regresyon modelleri ile varyans analizi arasındaki fark sorusu daha mantıklı bir soru gibi görünüyor. Ancak, orijinal posterin neyi amaçladığı hakkında genellikle belirsizlikler vardır.
Michael Hardy

7
Niyetiniz ne olursa olsun, uygunsuz olarak "yorumlarda doktora yaptım ... ... " buluyorum . Her şeyden önce, eldeki sorunu çözmek için hiçbir şey yapmaz. Otoriteye başvurmak, işleri kanıtlamak için çok kullanılmış, ama çok yanlış yönlendirilmiş bir yaklaşımdır. Kendi makamına başvurmak daha da problemli. Aynı zamanda, çok saygın bir programdan elde edilen istatistiklerde doktora yapan @MichaelHardy'ye (ele aldığınız kişisel) saygı duyma eksikliğinin (yanlışlıkla ya da başka şekilde) gösterdiği şeklinde yorumlanabilir.
kardinal,

2

Varyans analizi (ANOVA), yapıya ait olduğu düşünülen gözlemleri analiz etmenin istatistiksel bir yöntemidir.

yben=β1xben1+β2xben2++βpxbenp+eben, ben=1(1)npβ1,β2,...,βpe1,e2,...,enxbenjeben0σ2

E(ynx1)=Xβ,D(y)=σ2benn

xbenjβjxbenjβj01

xbenjtTt2,e-T

Temel olarak, bu ikisi iki tür analizdir.


ben=1(1)n

1
ben=1(1)nben=1,2,...,n

-1

Regresyon analizinde sabit bir değişkeniniz vardır ve değişkenin diğer değişkenle nasıl gittiğini bilmek istersiniz.

Varyans analizinde örneğin bilmek istersiniz: Bu spesifik hayvan yemi hayvanların ağırlığını etkiliyorsa ... bir sabit var ve diğerleri üzerindeki etkisi.


1
Merhaba Aiza, SE'ye hoş geldin. Daha fazla bağlam vermek ve sorunun gerçekte ne olduğunu netleştirmek için bunu düzenlemeniz gerekir.
Hızlı
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.