Çıktı ve öngörücüler arasında önemli bir korelasyon olmadığında iyi bir doğrusal regresyon modeli elde etmek nasıl mümkün olabilir?

Değişkenler / özellikler kümesi kullanarak doğrusal bir regresyon modeli geliştirdim. Ve modelin iyi bir performansı var. Ancak, tahmin edilen değişkenle iyi bir korelasyonu olan bir değişkenin olmadığını fark ettim. Bu nasıl mümkün olaiblir?

— Zaratruta
kaynak

Bunlar harika cevaplar, fakat soru cevapların doldurmaya çalıştığı pek çok ayrıntıyı kaçırıyor. Aklımdaki en büyük soru "iyi korelasyon" ile kastettiğiniz şey.

— DHW

Bilgisiz bir kontrol değişkeninin

— user3684792

Bir çift değişken, yüksek kısmi korelasyon (diğer değişkenlerin etkisine karşılık gelen korelasyon) ancak düşük - hatta sıfır - marjinal korelasyon (çift korelasyon) gösterebilir.

Bu da, bir yanıt, y ve bazı kestirimci arasındaki ikili korelasyonun, diğer değişkenler toplamı arasında (doğrusal) "kestirimci" değerle uygun değişkenleri belirlemede çok az değerli olabileceği anlamına gelir.

Aşağıdaki verileri göz önünde bulundurun:

Y ve x arasındaki korelasyon . Ben en küçük kareler çizgi çizerseniz, kesinlikle yatay olduğunu ve doğal olacak . $0$ $R^2$ $0$

Ancak, gözlemlerden iki gruptan hangisinin geldiğini gösteren yeni bir g değişkeni eklediğinizde, x son derece bilgilendirici olur:

, içinde X ve G, her iki değişken olan bir doğrusal regresyon modelinin 1 olacaktır. $R^2$

Bu tür bir şeyin modeldeki değişkenlerin her birinde meydana gelmesi mümkündür - hepsinin yanıtla küçük ikili korelasyonu vardır, ancak onlarla birlikte olan model yanıtı tahmin etmede çok iyidir.

Ek okuma:

https://en.wikipedia.org/wiki/Omitted-variable_bias

https://en.wikipedia.org/wiki/Simpson%27s_paradox

— Glen_b-Monica'yı eski durumuna döndür
kaynak

Bu davranış gerçek bir doğrusal modelde olabilir mi? Burada renk (g = 0/1) ve y yanıtı arasındaki ilişki doğrusal değildir. Ancak, ne olabilir ki

olmadan modelin

olabilir (isteğe bağlı olarak?) Daha düşük

ile modelin

R^{2}

$R^2$

g

$g$

R^{2}

$R^2$

g

$g$

— Vimal

Tanrım, modele yakından bakmalıydım :)

. Bu soruyu kazıyın!

y = x - 41 g

$y=x - 41g$

— Vimal

Aslında bu, cevabın yaratıldığı modeldi; ancak mavi noktaları rastgele bir üniteden (ekran yüzeyinden size doğru, yeni bir "g" ekseni yönünde) kaldırdığınızı ve altı noktadan bir düzlemin uyduğunu düşünerek hemen doğrusal olduğunu görebilirsiniz.

— Glen_b -Restate Monica

Regresyonda, X değişkenleri koşullandırılır ve sıklıkla kontrol edilebilir, bu nedenle "bağımsızlık" genellikle kişinin aradığı şey değildir. Tasarlanan deneylerin dışında, bağımsız öngörücüler neredeyse hiçbir durumda görülmez ve deneyler tasarladıysanız, öngörücüler rastgele değişkenler değildir, bu yüzden "bağımsızlık" (istatistiksel anlamda) bakacağınız şey değildir - bir şeydir muhtemelen karşılıklı diklik gibi. ...

— ctd

ctd ... Gerçekten tüm öngörücülerin (karşılıklı / p-değişkenli) istatistiksel bağımsızlığını kastediyorsanız, tek değişkenli regresyonlarda bu şekilde tam olarak sıfır katsayı elde edemezsiniz, ancak yukarıdaki örnek gibi tam bir ayırmaya da ihtiyacınız yoktur. .

— Glen_b

Sanırım Y üzerinde gerileyen birden fazla bağımsız değişkeni olan , , ... olan bir çoklu regresyon modeli geliştirdiğinizi varsayalım. Buradaki basit cevap, çift yönlü bir korelasyonun, yetersiz bir regresyon modeli çalıştırmak gibidir. Bu nedenle, önemli değişkenleri atladınız. $X_1$ $X_2$

$X_2$ $X_1$ $X_1$ $\rho_{x_{1},y|x_{2}}$ $y=\beta_1X_1 +\beta_2X_2 + \epsilon$ $\rho_{x_{1},y}$

— Ray Yang
kaynak

$X$ $X$ $X$ $X$ $X$ $X={x_1,x_2 ...}$ $o_i$ $p_i$ $c_i$ $\sum c_io_i =0$ $\sum c_ix_i$ $\sum c_io_i =0$ $\sum c_ix_i$ $X_1$ $X_2$ $E$ $X'_1$ $X'_2$ $E$ $X_1$ $X'_1$ $X_2$ $X'_2$ $E$ $X'_1$ $X'_2$ $Y$ $Y$

— Acccumulation
kaynak