Hata teriminin dağılımı, yanıtın dağılımını nasıl etkiler?

14

Ben hata terimlerinin normal doğrusal regresyon dağıtılır farz olduğunda Yani, tepki değişkeni için ne anlama geliyor ? $y$

regression distributions

— MarkDollar
kaynak

7

Belki gidiyorum ama hakkında merak etmemiz gerektiğini düşünüyorum , OP'yi böyle okuyorum. En basit doğrusal regresyon durumunda, modeliniz ise, modelinizdeki tek stokastik bileşen hata terimidir. Bu şekilde örnekleme dağılımını belirler . Eğer daha sonra . @Aniko'nun söyledikleri kesinlikle (marjinal olarak üzerinde ) için doğrudur . Öyleyse, soru biraz belirsiz. $f(y|\beta, X)$ $y=X\beta + \epsilon$ $y$ $\epsilon\sim N(0, \sigma^2I)$ $y|X, \beta\sim N(X\beta, \sigma^2I)$ $f(y)$ $X, \beta$

— JMS
kaynak

Tüm yorumları beğendim! Ve hepsi haklı görünüyor. Ama ben sadece en kolay cevabı arıyordum :) Errer teriminin normal dağıldığını varsaydığınızda ne olur? Bunun gerçekte çok sık meydana geldiği diğer cevaplardan açıkça anlaşılıyor! Çok teşekkürler!

— MarkDollar

17

Kısa cevap size dağılımı hakkında bir şey sonucuna varamayız ki o dağılımına bağlı olduğundan, 'in ve ilişkinin gücü ve şekli. Daha resmi olarak, pratikte hemen hemen her şey olabilen bir "normal karışım" dağılımına sahip olacaktır. $y$ $x$ $y$

Bunu açıklamak için iki uç örnek:

Sadece iki olası değeri olduğunu varsayalım , 0 ve 1 ve . Sonra 0 ve 10'da çarpmalarla kuvvetli bir bimodal dağılımına sahip olacaktır. $x$ $y = 10x + N(0,1)$ $y$
Şimdi aynı ilişkiyi varsayalım, ama 0-1 aralığında çok sayıda değerle eşit olarak dağıtılsın. Daha sonra neredeyse 0-10 aralığında eşit olarak dağıtılacaktır (kenarlarda yarı normal kuyruklarla). $x$ $y$

Aslında, her dağılım normalin karışımı ile keyfi olarak iyi tahmin edilebildiğinden, için gerçekten herhangi bir dağılım elde edebilirsiniz . $y$

— Aniko
kaynak

8

+1 Son ifadeyi tekrar et: Bir keresinde bunu düşünme hatasını da yaptım. Matematiksel olarak haklısınız, ancak pratikte, normallerle (J- veya U-şekilli dağılımlar gibi) ayırt edilemeyen bir artışa yaklaşmak neredeyse imkansızdır: normaller, sivri uçlardaki yoğunluğu yakalamak için piklerinde çok düzdür. Çok fazla bileşene ihtiyacınız var. Normaller, pdf'leri çok düzgün olan dağılımları tahmin etmek için iyidir.

— whuber

1

@whuber Kabul etti. Pratikte herhangi bir dağılım için normal karışım yaklaşımı kullanmanızı tavsiye etmem, sadece aşırı bir karşı örnek vermeye çalışıyordum.

— Aniko

5

Hata terimini gerçek verilere hayali bir model koyarak icat ediyoruz; hata teriminin dağılımı, yanıtın dağılımını etkilemez.

Sıklıkla hatanın normal bir şekilde dağıtıldığını varsayıyoruz ve bu nedenle modeli, tahmini kalıntılarımız normal olarak dağıtılacak şekilde oluşturmaya çalışıyoruz. Bazı dağılımları için bu zor olabilir . Bu durumlarda, yanıtın dağılımının hata terimini etkilediğini söyleyebiliriz. $y$

— Thomas Levine
kaynak

2

y - X \hat{β}

$y-X\hat\beta$

X \hat{β}

$X\hat\beta$

E (y) = X β

$\mathbb{E}(y)=X\beta$

Hassasiyetinize katılıyorum, JMS. +1 ve cevabımı ayarlayacağım.

— Thomas Levine

2

y = m + e

$\bf{y}=m+e$

m

$\bf{m}$

y

$\bf{y}$

e

$\bf{e}$

y - m = e

$\bf{y}-m=e$

N (0, σ^{2})

$N(0,\sigma^{2})$

σ

$\sigma$

σ

$\sigma$

C a u c h y (0, γ)

$Cauchy(0,\gamma)$

$\bf{m}$ $\bf{e}$ $\bf{m}$ $\bf{e}$ $\bf{y}$ $\bf{y}=m+e=(m+b)+(e-b)=m'+e'$ . Bir hata dağılımı ve bir model denkleminin atanması temel olarak hangi keyfi vektörlerin diğerlerinden daha makul olduğunu söyler.

— probabilityislogic
kaynak

H_{0} : y \sim f_{0}

$H_0: y\sim f_0$

H_{1} : y \sim f_{1}

$H_1: y\sim f_1$

n

$n$

y_{i}

$y_i$

Y

$Y$

x_{i}

$x_i$

Y = X β + ϵ

$Y = X\beta + \epsilon$

ϵ

$\epsilon$

Y | β, X

$Y|\beta, X$

@JMS - Sanırım ilk paragrafı silebilirim. Cevabıma bir şey kattığını sanmıyorum (karışıklığın yanı sıra).

— olasılık

cevaplarıma eklemek için en sevdiğim şeylerden biri :)

— JMS