Doğrusal modellerin varsayımları ve artıklar normal olarak dağıtılmazsa ne yapmalı

22

Doğrusal regresyon varsayımlarının ne olduğu konusunda biraz kafam karıştı.

Şimdiye kadar:

açıklayıcı değişkenlerin tümü yanıt değişkeni ile doğrusal olarak ilişkilidir. (Durum böyleydi)
açıklayıcı değişkenler arasında herhangi bir eşzamanlılık vardı. (çok az eşzamanlılık vardı).
Cook'un modelimin veri noktalarındaki mesafeleri 1'in altındadır (bu durumda, tüm mesafeler 0,4'ün altındadır, bu nedenle etki noktası yoktur).
kalıntılar normal olarak dağıtılır. (Durum bu olmayabilir)

Ama sonra aşağıdakileri okudum:

normallik ihlalleri genellikle ortaya çıkar, çünkü (a) bağımlı ve / veya bağımsız değişkenlerin dağılımlarının kendileri önemli ölçüde normal değildir ve / veya (b) doğrusallık varsayımı ihlal edilir.

Soru 1 Bu, bağımsız ve bağımlı değişkenlerin normal olarak dağıtılması gerektiği gibi görünmesini sağlar, ancak bildiğim kadarıyla durum böyle değildir. Bağımlı değişkenim ve bağımsız değişkenlerimden biri normalde dağılmaz. Olmalılar mı?

Soru 2 Kalanların QQnormal grafiğim şöyle:

Bu normal bir dağılımdan biraz farklıdır ve aynı shapiro.testzamanda artıkların normal bir dağılımdan olduğuna dair sıfır hipotezini de reddeder:

> shapiro.test(residuals(lmresult))
W = 0.9171, p-value = 3.618e-06

Kalan değerler ve takılan değerler:

Artıklarım normal olarak dağıtılmazsa ne yapabilirim? Doğrusal modelin tamamen yararsız olduğu anlamına mı geliyor?

— Stefan
kaynak

3

Artıklarınız ve yerleştirilmiş grafiğiniz bağımlı değişkeninizin bir alt sınırı olduğunu gösterir. Bu gördüğünüz desenleri yönlendirebilir. Bu, düşünebileceğiniz alternatif modeller için bir gösterge verebilir.

— Maarten Buis

25

Öncelikle, kendinize bu klasik ve ulaşılabilir makalenin bir kopyasını alıp okudum: Anscombe FJ. (1973) İstatistiksel analizde grafikler Amerikan İstatistikçi . 27: 17-21.

Sorularınız için:

Cevap 1: Ne bağımlı ne de bağımsız değişkenin normal olarak dağıtılması gerekmez. Aslında her türlü döngüsel dağılıma sahip olabilirler. Normallik varsayımı hataların dağılımı için geçerlidir ( ). $Y_{i} - \hat{Y}_{i}$

Cevap 2: Aslında sıradan en küçük kareler (OLS) regresyonunun iki ayrı varsayımını soruyorsunuz:

$Y$ $X$ $y = a +bx$ $a$ $y$ $b$ $Y$ $X$ veya ikinci dereceden bir işlev, hatta bir noktada eğimi değiştiren düz bir çizgi). Doğrusalsızlığı ele almak için kendi tercih ettiğim iki aşamalı yaklaşımım (1) ve arasında belirli doğrusal olmayan fonksiyonel ilişkiler önermek için bir çeşit parametrik olmayan yumuşatma regresyonu yapmaktır (örneğin, LOWESS veya GAM s, vb. Kullanarak ), ve (2) doğrusal olmayanlıkları içeren çoklu bir regresyon (örneğin, ) veya X parametrelerinde doğrusal olmayanlar içeren doğrusal olmayan en küçük kareler regresyon modeli kullanarak fonksiyonel bir ilişki belirtmek için ve ör. , burada $Y$ $X$ $X$ $Y \sim X + X^{2}$ $Y \sim X + \max{(X-\theta,0)}$ $\theta$ üzerindeki regresyon çizgisinin eğimi değiştirdiği noktayı temsil eder ). $Y$ $X$
Diğeri, normal olarak dağıtılan artıkların varsayımıdır. Bazen bir OLS bağlamında normal olmayan kalıntılarla geçerli bir şekilde kurtulabilir; bkz., Lumley T, Emerson S. (2002) Büyük Halk Sağlığı Veri Kümelerinde Normallik Varsayımının Önemi . Halk Sağlığının Yıllık Değerlendirmesi . 23: 151-69. Bazen, bir daha olamaz (yine Anscombe makalesine bakın).

Ancak, OLS'taki varsayımları verilerinizin istenen özellikleri kadar değil, doğayı tanımlamak için ilginç çıkış noktaları olarak düşünmenizi tavsiye ederim. Sonuçta, dünyada önemsediğimiz şeylerin çoğu -kesin ve eğimden daha ilginç . OLS varsayımlarını yaratıcı bir şekilde ihlal etmek (uygun yöntemlerle) daha ilginç sorular sormamıza ve cevaplamamıza olanak tanır. $y$

— Alexis
kaynak

2

Teşekkürler! Bazı istatistik dersinin slaytlarında, varsayımlar başarısız olursa Y'yi veya açıklayıcı değişkenleri dönüştürmeyi deneyebileceğiniz söylenir. Y'yi örneğin lm (Y ^ 0.3 ~ + X1 + X2 + ...) yaparak dönüştürdüğümde, artıklarım normal olarak dağıtılır. Bu yapılacak geçerli bir şey mi?

— Stefan

@Stefan Evet! Bir yanıtı dönüştürmek genellikle iyi bir şeydir logve basit güç dönüşümleri yaygındır.

— Gregor - Monica'yı eski durumuna getirdi

@Stefan Belki, belki değil. Sonuçlarınızı dönüştürürseniz, dönüştürülmüş ilişkilere dayanan çıkarımlarınız, analizinizi yaptıktan sonra ters dönüşümler için geçerli olmayabilir; Bunun nedeni . , önemli bir bulunması, önemli bir anlamına gelmez veya CI mutlaka .

Var (f (x) \neq f (Var (x))

$\text{Var}(f(x) \ne f(\text{Var}(x))$

\ln Y = β_{0} + β_{X} X + ε

$\ln Y =\beta_{0} + \beta_{X}X + \varepsilon$

β_{X}

$\beta_{X}$

e^{β_{X}}

$e^{\beta_{X}}$

β_{X}

$\beta_{X}$

e^{CI β_{X}}

$e^{\text{CI}\beta_{X}}$

— Alexis

@Alexis: Bu sayfalar neden değişkenlerin normal olarak dağıtılması gerektiğini söylüyor? (1) pareonline.net/getvn.asp?n=2&v=8 (2) statisticssolutions.com/…

— stackoverflowuser2010

7

Y = β_{0} + β_{X} X + ε

$Y = \beta_{0} + \beta_{X}X + \varepsilon$

ε \sim N (0, σ)

$\varepsilon \sim \mathcal{N}(0,\sigma)$

Y = 3 + 0.5 \times X + N (0, 1)

$Y = 3 + 0.5\times X + \mathcal{N}(0,1)$

Y

$Y$

X

$X$

β_{0} \approx 3, β_{X} \approx 0.5

$\beta_{0}\approx 3, \beta_{X}\approx 0.5$

X

$X$

Y

$Y$

11

İlk sorunlarınız

güvencelerinize rağmen, kalan arsa, koşullu beklenen yanıtın takılan değerlerde doğrusal olmadığını gösterir; ortalama için model yanlış.
sürekli bir varyansınız yok. Varyans modeli yanlış.

oradaki problemlerle normalliği bile değerlendiremezsiniz .

— Glen_b-Monica'yı eski durumuna döndür
kaynak

Lütfen parsellere bakarak doğrusallık konusunda nasıl sonuca varacağınızı açıklayın. Homoskedastisite varsayımının burada karşılanmadığını anlıyorum.

— Dr Nisha Arora

\hat{y}

$\hat{y}$

\hat{y} = 30

$\hat{y}=30$

0

$0$

60

$60$

< 0

$<0$

0 - 30

$0-30$

30 - 60

$30-60$

> 60

$>60$ ), düz bir çizgiyle ilgili en iyi tahmininizi yapın. Ben böyle bir şey vererek hatlarını kombine yüzden benim için orta iki, neredeyse rastlantı eseri olan bu

— Glen_b -Reinstate Monica

Orta yarıda, artıkların neredeyse tamamı negatif, dış kısımlarda hemen hemen tüm artıklar pozitiftir. Bunlar rastgele artıkların görünüşü değil.

— Glen_b

Teşekkürler, @Glen_b. Uzun bir boşluktan sonra, kavramlarımı ilk etapta görselleştirememek için tekrar gözden geçiriyorum.

— Dr Nisha Arora

Burada devam edecek çok şey olmasa da, orijinal verilerin negatif olmadığını ve genelleştirilmiş doğrusal bir model (belki de log-linkli bir gama) veya bir dönüşüm (muhtemelen bir log-dönüşüm) daha uygun bir seçim olacağını düşünüyorum. .

— Glen_b

3

Doğrusal modelin tamamen işe yaramaz olduğunu söyleyemem. Ancak bu, modelinizin verilerinizi doğru / tam olarak açıklamadığı anlamına gelir. Modelin "yeterince iyi" olup olmadığına karar vermeniz gereken bir kısım var.

İlk sorunuz için, doğrusal bir regresyon modelinin bağımlı ve bağımsız değişkenlerinizin normal olması gerektiğini varsaydığını düşünmüyorum. Bununla birlikte, artıkların normalliği hakkında bir varsayım vardır.

İkinci sorunuz için düşünebileceğiniz iki farklı şey var:

Farklı modelleri kontrol edin. Verilerinizi açıklamak için başka bir model daha iyi olabilir (örneğin, doğrusal olmayan regresyon, vb.). Yine de, bu "yeni model" in varsayımlarının ihlal edilmediğini kontrol etmeniz gerekir.
Verileriniz, yanıtı (sonucu) açıklamak için yeterli ortak değişken (bağımlı değişkenler) içeremez. Bu durumda, başka bir şey yapamazsınız. Bazen, artıkların farklı dağılımları (örn. T-dağılımı) takip edip etmediğini kontrol etmeyi kabul edebiliriz, ancak sizin için böyle görünmüyor.

Sorunuza ek olarak, QQPlot'unuzun "normalleştirilmiş" olmadığını görüyorum. Kalıntılarınız standart hale geldiğinde arsaya bakmak genellikle daha kolaydır, bkz. Stdres .

stdres(lmobject)

Umarım size yardımcı olur, belki başka biri bunu benden daha iyi açıklar.

— Julien D.
kaynak

0

Önceki cevaba ek olarak, modelinizi geliştirmek için bazı noktalar eklemek istiyorum:

Bazen artıkların normallik olmaması aykırı değerlerin varlığına işaret eder. Bu durumda, önce aykırı değerlere dokununuz.
Amaçları çözmek için bazı dönüşümler kullanıyor olabilirsiniz.
Buna ek olarak, çoklu doğrusallık ile başa çıkmak için https://www.researchgate.net/post/My_data_has_the_problem_of_multicolinearity_Removing_unique_variables_using_variance_inflation_factor_VIF_didnt_work_Any_solution

— Dr Nisha Arora
kaynak

-1

İkinci sorunuz için,

Uygulamada başıma gelen bir şey, tepkime birçok bağımsız değişkenle fazla uyum sağladığımdı. Aşırı takılmış modelde normal olmayan kalıntılar vardı. Her ne kadar, sonuçlar bazı katsayıların sıfır olma olasılığını gösteren (p değerleri 0.2'den büyük olan) kanıt bulunmadığını kanıtladı. İkinci bir modelde, geriye doğru seçim prosedürünü takiben değişkenleri reddetmek, normal bir artık hem qqplot ile hem de Shapiro-Wilk testi ile hipotez testi ile doğrulanmış oldu. Bunun sizin durumunuz olup olmadığını kontrol edin.

— Ayar Paco
kaynak