Doğrusal regresyonda varsayımlara ihtiyaç nedir?

15

Doğrusal regresyonda, aşağıdaki varsayımları yaparız

Her bir öngörücünün değer kümesinde yanıtın ortalaması , öngörücülerin Doğrusal bir işlevidir.

E (Y_{i})

$E(Y_i)$

(x_{1 i}, x_{2 i}, \dots)

$(x_{1i}, x_{2i},…)$

hataları

ε_{i}

$ε_i$ Bağımsızdır.

ε_{i}

$ε_i$ her bir değer kümesindeki

hataları (

(x_{1 i}, x_{2 i}, \dots)

$(x_{1i}, x_{2i},…)$ Normal olarak dağıtılır.

ε_{i}

$ε_i$ her bir değer kümesindeki

hataları (

(x_{1 i}, x_{2 i}, \dots)

$(x_{1i}, x_{2i},…)$ , Eşit varyanslara sahiptir (

ile gösterilir

σ 2

$σ2$ ).

Doğrusal regresyonu çözebilmemizin yollarından biri, şu şekilde yazabileceğimiz normal denklemlerdir.

θ = (X^{T} X)^{- 1} X^{T} Y

$\theta = (X^TX)^{-1}X^TY$

Matematiksel bir bakış açısından, yukarıdaki denklemin tersine çevrilebilir olması için sadece $X^TX$ gerekir. Öyleyse, neden bu varsayımlara ihtiyacımız var? Birkaç meslektaşım diye sordum ve bunun iyi sonuçlar elde etmek olduğunu ve normal denklemlerin bunu başarmak için bir algoritma olduğunu söylediler. Fakat bu durumda, bu varsayımlar nasıl yardımcı olur? Onları korumak daha iyi bir model elde etmeye nasıl yardımcı olur?

regression assumptions

— Saat köle
kaynak

2

Normal formüllerle katsayı güven aralıklarını hesaplamak için normal dağılım gereklidir. CI hesaplamasının diğer formülleri (sanırım Beyaz olduğunu) normal olmayan dağılıma izin verir.

— keiv.fly

Modelin çalışması için her zaman bu varsayımlara ihtiyacınız yoktur. Sinir ağlarında, lineer regresyonlar vardır ve sağladığınız formül gibi rmse'yi en aza indirirler, ancak büyük olasılıkla varsayımların hiçbiri geçerli değildir. Normal dağılım yok, eşit varyans yok, doğrusal fonksiyon yok, hatalar bile bağımlı olabilir.

— keiv.fly

2

Bkz stats.stackexchange.com/q/16381/35989

— Tim

1

@Alexis Bağımsız değişkenler kesinlikle bir varsayım değildir (ve bağımlı değişken de bir varsayım değildir. Değişkenleri atlamaktan kaçınmak iyi olsa da, "atlanan değişken yok" gerçekten ek bir varsayım değildir - listelenen ilk varsayım gerçekten bununla ilgilenir.

— Dason

1

@ Donan Bağlantımın geçerli yorumlama için zorunlu olan "atlanan değişken yok" unun oldukça güçlü bir örneğini verdiğini düşünüyorum. Ben de iid (öngörücüler üzerinde koşullu, evet) gerekli olduğunu düşünüyorum, rastgele yürüyüşler ile iid olmayan tahmin başarısız olabilir (şimdiye kadar sadece ortalama tahmin başvurmak) mükemmel bir örnek sağlar.

— Alexis

19

Haklısınız - noktalara en az kareler çizgisi sığdırmak için bu varsayımları yerine getirmeniz gerekmez. Sonuçları yorumlamak için bu varsayımlara ihtiyacınız vardır. Örneğin, bir girişi ile arasında bir ilişki olmadığı varsayılarak , en azından regresyondan gördüğümüz kadar büyük bir katsayı elde etme olasılığı nedir? $X_1$ $Y$ $\beta_1$

— rinspy
kaynak

17

Anscombe'un dörtlüsü imajını Wikipedia'dan deneyin, bu varsayımlardan bazıları açıkça yanlış olduğunda doğrusal regresyonu yorumlamakla ilgili potansiyel konular hakkında fikir edinmek için: temel tanımlayıcı istatistiklerin çoğu dördünde de aynıdır (ve bireysel değerleri sağ alttaki hariç hepsi aynı) $x_i$

— Henry
kaynak

Anscombe'un ardından atlanan değişken varsayımını ihlal etmenin neye benzeyebileceğini gösteren bir resim yaptım . Hala iid varsayımının ihlali Anscombe benzeri bir örnek üzerinde çalışıyor .

— Alexis

3

Doğrusal bir modele uyması için bu varsayımlara ihtiyacınız yoktur. Bununla birlikte, parametre tahminleriniz taraflı olabilir veya minimum varyansa sahip olmayabilir. Varsayımları ihlal etmek, örneğin bir güven aralığı oluşturmak gibi, regresyon sonuçlarını yorumlamada kendinizi zorlaştıracaktır.

— Selam Dünya
kaynak

1

Tamam, şu ana kadar cevaplar şöyle: Varsayımları ihlal edersek kötü şeyler olabilir. İlginç yönün şu olduğuna inanıyorum: İhtiyacımız olan tüm varsayımlar (aslında yukarıdakilerden biraz farklı) karşılandığında, lineer regresyonun en iyi model olduğundan neden ve nasıl emin olabiliriz?

Bu sorunun cevabının şöyle olduğunu düşünüyorum: Eğer bu sorunun cevabında olduğu gibi varsayımlar yaparsak, koşullu yoğunluğu hesaplayabiliriz . Burdan şunu hesaplayabilir (en koşullu beklenti faktörizasyonu ) ve gerçekten lineer regresyon fonksiyonu olduğunu görüyoruz. Sonra kullanmak bu bu doğru risk açısından en iyi fonksiyon olduğunu görmek için. $p(y_i|x_i)$ $E[Y_i|X_i=x_i]$ $x_i$

— Fabian Werner
kaynak

0

İki temel varsayım

Gözlemlerin bağımsızlığı
Ortalama varyansla ilgili değil

Bkz. Julian Faraway'in kitabındaki tartışma .

Bunların ikisi de doğruysa, OLS, listelediğiniz diğer varsayımlardaki ihlallere şaşırtıcı bir şekilde dirençlidir.

— astaines
kaynak