Neden lineer regresyon rezidüel, ancak genelleştirilmiş lineer modelde varsayım vardır?

14

Neden doğrusal regresyon ve Genelleştirilmiş Model tutarsız varsayımlara sahiptir?

Doğrusal regresyonda artık Gauss'tan gelir
Diğer regresyonlarda (lojistik regresyon, zehir regresyonu), bazı dağılımlardan (binom, zehir vb.) Yanıt geldiğini varsayıyoruz .

Neden bazen kalan ve diğer zamanın yanıt aldığını varsayıyoruz? Farklı özellikler elde etmek istediğimiz için mi?

EDIT: mark999's iki form eşit olduğunu düşünüyorum. Ancak, iid hakkında ek bir şüphem var:

Diğer sorularım, Lojistik regresyon konusunda varsayım var mı? genelleştirilmiş doğrusal modelin iid varsayımı olmadığını gösterir (bağımsız fakat özdeş değil)

Doğrusal regresyon için, artık üzerinde varsayım yaparsak, iidimiz olacak, ancak yanıt üzerinde varsayım yaparsak, bağımsız fakat özdeş olmayan örneklere sahip olacağız (farklı ile farklı Gaussian ) olacak mı? $\mu$

— Haitao Du
kaynak

Ayrıca bkz. Stats.stackexchange.com/questions/295340/…

— kjetil b halvorsen

12

Gauss hatalarına sahip basit doğrusal regresyon, genelleştirilmiş doğrusal modellere genelleme yapmayan çok hoş bir özelliktir.

Genelleştirilmiş doğrusal modellerde, cevap ortalama verilen bazı dağılımları takip eder . Doğrusal regresyon bu paterni izler; Eğer sahipsek

$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$

ile $\epsilon_i \sim N(0, \sigma)$

o zaman bizde

$y_i \sim N(\beta_0 + \beta_1 x_i, \sigma)$

Tamam, bu yüzden cevap genelleştirilmiş doğrusal modeller için verilen dağılımı takip eder, ancak doğrusal regresyon için artıkların bir Gauss dağılımını takip etmesine de sahibiz. Genel kural olmadığında artıkların normal olduğu neden vurgulanmaktadır? Çünkü çok daha kullanışlı bir kural. Kalıntıların normalliği hakkında düşünmenin güzel yanı, bunun incelenmesi çok daha kolay. Tahmini araçları çıkarırsak, tüm artıklar kabaca aynı varyansa ve kabaca aynı ortalamaya (0) sahip olmalı ve kabaca normal olarak dağıtılacaktır (not: "kabaca" diyorum çünkü eğer regresyon parametreleri, tabii ki biz değil, $\epsilon_i$ $x$ . Ama umarım tahminlerde bunun cahil olduğu yeterince kesindir!).

Öte yandan, düzeltilmemiş ' bakarak, eğer hepsinin farklı araçları varsa normal olduklarını gerçekten söyleyemeyiz. Örneğin, aşağıdaki modeli düşünün: $y_i$

$y_i = 0 + 2 \times x_i + \epsilon_i$

ile ve $\epsilon_i \sim N(0, 0.2)$ $x_i \sim \text{Bernoulli}(p = 0.5)$

Sonra $y_i$

İşte açıklamak için bazı Rkod.

x <- rbinom(1000, size = 1, prob = 0.5)
y <- 2 * x + rnorm(1000, sd = 0.2)
fit <- lm(y ~ x)
resids <- residuals(fit)
par(mfrow = c(1,2))
hist(y, main = 'Distribution of Responses')
hist(resids, main = 'Distribution of Residuals')

— Cliff AB
kaynak

y_{i} = 1 + 2 \times x_{i} + ϵ_{i}

$y_i = 1 + 2 \times x_i + \epsilon_i$

3

@ hxd1011: evet, bu x verilen marjinal dağılım (açıkça normal değil) ve koşullu dağılım arasındaki farktır (simüle ettiğimizden beri normal olduğunu biliyoruz!). Koşullu ve marjinal dağılımlar arasındaki farkı düşünmemek son derece yaygın bir hatadır.

— Cliff AB

14

$i = 1, \ldots, n$

Y_{i} = β_{0} + β_{1} X_{i 1} + \dots + β_{k} X_{i k} + ϵ_{i},

$Y_i = \beta_0 + \beta_1 X_{i1} + \ldots + \beta_k X_{ik} + \epsilon_i,$

ϵ_{i}

$\epsilon_i$

σ^{2}

$\sigma^2$

X_{i 1}, \dots, X_{i k}

$X_{i1}, \ldots, X_{ik}$

Y_{i}

$Y_i$

β_{0} + β_{1} X_{i 1} + \dots + β_{k} X_{i k}

$\beta_0 + \beta_1 X_{i1} + \ldots + \beta_k X_{ik}$

σ^{2}

$\sigma^2$

$X_{i1}, \ldots, X_{ik}$ $\beta_0 + \beta_1 X_{i1} + \ldots + \beta_k X_{ik}$

Normal hatalara sahip olağan çoklu doğrusal regresyon modeli, normal tepki ve kimlik bağlantısına sahip genelleştirilmiş doğrusal bir modeldir.

— mark999
kaynak