Regresyon artık dağılım varsayımları

12

Dağılım varsayımını hatalara neden koymak gerekir?

$y_i = X\beta + \epsilon_{i}$ , . $\epsilon_{i} \sim \mathcal{N}(0,\sigma^{2})$

Neden yazmıyorsun

$y_i = X\beta + \epsilon_{i}$ , , $y_i \sim \mathcal{N}(X\hat{\beta},\sigma^{2})$

burada her iki durumda da . Dağıtım varsayımlarının veriye değil hatalara yerleştirildiğini, açıklama yapmadan vurguladığını gördüm . $\epsilon_i = y_i - \hat{y}$

Bu iki formülasyon arasındaki farkı gerçekten anlamıyorum. Verilere dağıtım varsayımlarının yerleştirildiğini gördüğüm bazı yerler (Bayesian yanıyor. Çoğunlukla görünüyor), ancak çoğu zaman varsayımlar hatalara yerleştirilir.

Modelleme yapılırken, neden biri ya da diğeri üzerindeki varsayımlarla başlamayı seçmeliyiz?

— bill_e
kaynak

Birincisi, "gerekli" değil, ne yapmak istediğinize bağlı. Bazı iyi cevaplar var, ama sanırım X'in y'ye "neden olduğu" anlamında temel nedensel varsayım var ve ona bu şekilde bakarsanız y dağılımının "neden" olduğunu görürsünüz. Rh'lerin dağılımı, yani X'ler ve hatalar (varsa). Çok sınırlı dağılımsal varsayımlarla ve özellikle normallik olmadan bol miktarda ekonometri yapabilirsiniz. Tanrıya şükür.

— PatrickT

3

\hat{y}

$\hat y$ , değildir ve popülasyon ortalaması, bunun örnek tahmini ile aynı değildir. Yani ikinci şey aslında birinciyle aynı şey değildir, ancak beklentisiyle değiştirirseniz ( ), ikisi eşdeğer olacaktır.

X β

$X\beta$

y

$y$

E (\hat{y}) = E (y) = X β

$E(\hat y) = E(y) = X\beta$

— Glen_b -Manica Monica

Ne ? Ve ile değişirse , neden değişmez ? Lütfen kullanmak istediğiniz notasyonu, vektörü veya matrisi aklınızdan çıkarmayın. Şimdi olduğunu varsayarsak, olmaktan daha fazla: , yani dağılımını kendisi ve diğer tüm gözlemler açısından tanımlarsınız !

\hat{y}

$\hat{y}$

y_{i}

$y_i$

i

$i$

X β

$X\beta$

\hat{y} = X \hat{β}

$\hat{y}=X\hat\beta$

y_{i} \sim N (x_{i}^{'} (\sum x_{j} x_{j}^{'})^{- 1} \sum x_{j} y_{j}, σ^{2})

$y_i\sim N(x_i'(\sum x_jx_j')^{-1}\sum x_jy_j,\sigma^2)$

y_{i}

$y_i$

y_{j}

$y_j$

— mpiktas

1

Soruyu reddettim çünkü gösterimin kafa karıştırıcı olduğunu düşünüyorum ve bu zaten birbiriyle çelişen birkaç cevapla sonuçlandı.

— mpiktas

9

Doğrusal bir regresyon ayarında üzerinde koşullu , yani "verilerde" koşullu analiz yapmak ve sonuç çıkarmak yaygındır . Bu nedenle, ihtiyacınız olan şey normal, yani normal olmak için ihtiyacınız var . Peter FLOM en örneğinde de olduğu gibi bir normallik olabilir normalliği kalmadan ne gerek normalliği olduğundan, dolayısıyla, ve mantıklı bir varsayım. $X$ $y\mid X$ $\epsilon$ $\epsilon$ $y$ $\epsilon$

— Ekvall
kaynak

9

İkinci tanımı şöyle yazarım

$y_i \sim \mathcal{N}(X_i\beta, \sigma^2)$

veya (Karl Oskar'ın +1 önerdiği gibi)

$y_i|X_i \sim \mathcal{N}(X_i\beta, \sigma^2)$

yani modelleme varsayımı, cevap değişkeninin normal olarak sabit varyans ile regresyon çizgisi etrafında dağıtılmasıdır (koşullu ortalamanın bir tahminidir) . Bu, normal olarak dağıtıldığını aynı şey değildir , çünkü dağılımın ortalaması bağlıdır . $\sigma^2$ $y_i$ $X_i$

Makine öğrenimi literatüründe buna benzer formülasyonlar gördüğümü düşünüyorum; görebildiğim kadarıyla ilk tanıma eşdeğerdir, tek yaptığım ikinci formülasyonu ve 'ları ortadan kaldırmak için biraz farklı bir şekilde yeniden basmaktır . $\epsilon_i$ $\hat{y}$

— Dikran Keseli
kaynak

3

Fark bir örnekle açıklamak en kolay yoldur. İşte basit bir tane:

Y'nin bimodal olduğunu ve modalitenin bağımsız bir değişken tarafından açıklandığını varsayalım. Örneğin, Y'nin yükseklik olduğunu ve örneğinizin (herhangi bir nedenle) jokeylerden ve basketbolculardan oluştuğunu varsayalım. örneğinR

set.seed(123)
tall <- rnorm(100, 78, 3)
short <- rnorm(100, 60, 3)

height <- c(tall, short)
sport <- c(rep("B", 100), rep("H",100))

plot(density(height))

m1 <- lm(height~sport)
plot(m1)

ilk yoğunluk çok normal değildir. Ancak modelin kalıntıları normale çok yakın.

Kısıtlamaların neden bu şekilde uygulandığına gelince - başkasının buna cevap vermesine izin vereceğim.

— Peter Flom - Monica'yı eski durumuna döndürün
kaynak

1

Teşekkür ederim! İki modlu bir dağılımla ne demek istediğini anlıyorum. Takip eden soru: Verilerin varyansları farklıysa (heterosdadastisite?) Diyelim ki ... tüm jokeyler küçük haklıdır, ancak basketbolcuların yükseklikleri çok değişir. Belki onlar için uzun boylu <- rnorm (100,78,10). Böyle bir durum veya ilgili varsayımlarınızı nasıl değiştirir ?

y_{i}

$y_i$

ϵ_{i}

$\epsilon_i$

— bill_e

Bu durumda, hetero-esneklik bir sorun olacaktır ve başka bir regresyon biçimi veya muhtemelen bir dönüşüm kullanmanız gerekir, ya da başka bir değişken ekleyebilirsiniz (bu aptal örnekte, basketbolda oynanan pozisyon bunu yapabilir).

— Peter Flom - Monica'yı eski durumuna döndürün

Formülasyonun, normal şartlı dağılımları olduğu için, ys'nin normal olarak dağıtıldığını öne sürdüğünden emin değilim.

— Dikran Marsupial

2

İkinci formülasyonunuza şüpheli bir i eklemeniz gerekir: çünkü ile birlikte değişebilmelidir .

y_{i} \sim N ({\hat{y}}_{i}, σ_{ε}^{2})

$y_i\sim\mathcal N(\hat y_i,\sigma^2_\varepsilon)$

\hat{y}

$\hat y$

x_{i}

$\bf x_i$

Belirtilen, nedir? dır . Bu, @DikranMarsupial'in şu formülasyonuna yol açar: Bunun aynı olduğunu fark etmeye değer formülasyon, çünkü hem normal dağılımları öngörür hem de beklenen değerler eşittir. Yani: (Ve açıkça varyanslar eşittir.) Başka bir deyişle, bu $\hat y_i$ $\bf x_i\boldsymbol{\hat\beta}$

y_{i} \sim N (x_{i} \hat{β}, σ_{ε}^{2})

$y_i\sim\mathcal N({\bf x_i}\boldsymbol{\hat\beta},\sigma^2_\varepsilon)$

\begin{aligned} E [x_{i} \hat{β}] & = E [x_{i} \hat{β} + E [N (0, σ_{ε}^{2})]] \\ = E [x_{i} \hat{β} + 0] \\ = E [x_{i} \hat{β}] \end{aligned}

$\begin{align} E[{\bf x_i}\boldsymbol{\hat\beta}] &= E[{\bf x_i}\boldsymbol{\hat\beta} + E[\mathcal N(0, \sigma^2_\varepsilon)]] \\ &= E[{\bf x_i}\boldsymbol{\hat\beta} + 0] \\ &= E[{\bf x_i}\boldsymbol{\hat\beta}] \end{align}$ varsayımlarda bir fark değil , basitçe notasyonel bir farktır.

Böylece soru, ilk formülasyonu kullanarak fikri sunmayı tercih etmek için bir neden var mı?

Cevabın iki nedenden dolayı evet olduğunu düşünüyorum :

İnsanlar genellikle ham verilerin normal olarak dağıtılması (yani ) veya / koşullu verilerin normal olarak dağıtılması (örneğin, / ) olup olmadığını karıştırırlar. : Kalanlar normal olarak dağıtılırsa, ancak y dağıtılmazsa ne olur? $Y$ $\bf X$ $Y|\bf X$ $\varepsilon$
İnsanlar genellikle bağımsız olması gereken şeyi, ham verileri veya hataları karıştırırlar. Dahası, sık sık bir şeyin iid olması gerektiğinden (bağımsız ve aynı şekilde dağıtılmış) söz ediyoruz; açısından düşünüyorsanız, başka bir potansiyel karışıklık kaynağı olabilir, çünkü bağımsız olabilir, ancak boş hipotez geçerli olmadığı sürece aynı şekilde dağıtılamaz (ortalama değişebilir). $Y|\bf X$ $Y|\bf X$

Bu karışıklıkların ikinci formülasyonu kullanma olasılığının birinciden daha fazla olduğuna inanıyorum.

— gung - Monica'yı eski durumuna döndürün
kaynak

1

@Glen_b, yorumunu takip etmiyorum. Benim iddia bu değil eşittir , fakat daha ziyade bu eşittir . Gözlemleri indeksleyen abone konuyla ilgilidir. Fikir, belirli bir gözlem için tahmin edilen değerinin . Bunun nüfus ortalaması ile ilgisi yoktur . (Görünüşe göre, betalarıma şapka eklemeyi unutmuşum; şimdi düzelttim.)

\hat{y}

$\hat y$

X β

$X\beta$

{\hat{y}}_{i}

$\hat y_i$

x_{i} \hat{β}

$\bf x_i\boldsymbol{\hat\beta}$

_{i}

$_i$

{\hat{y}}_{i}

$\hat y_i$

x_{i} \hat{β}

$\bf x_i\boldsymbol{\hat\beta}$

Y

$Y$

— gung - Monica'yı eski

@Glen_b örnek olsaydı , yerine olacağı anlamına gelir . Başlangıçta gösterimi de kafa karıştırıcı buldum, ancak , ve . Bunların her ikisinin de doğru olması için yalnızca .

\bar{y}

$\bar{y}$

\hat{y}

$\hat{y}$

\hat{y} = X β

$\hat{y} = X\beta$

y_{i} = X β + ϵ_{i}

$y_i = X\beta + \epsilon_i$

ϵ_{i} = y_{i} - \hat{y}

$\epsilon_i = y_i - \hat{y}$

\hat{y}

$\hat{y}$

X β

$X\beta$

— Dikran Marsupial