Basit doğrusal regresyonda anahtarlama cevabı ve açıklayıcı değişken etkisi

48

Diyelim arasında bazı "gerçek" bir ilişki vardır demek $y$ ve $x$ öyle ki $y = ax + b + \epsilon$ , nerede $a$ ve $b$ sabitlerdir ve $\epsilon$ iid Normal gürültüdür. R kodundan rasgele veri ürettiğimde: x <- 1:100; y <- ax + b + rnorm(length(x))ve sonra böyle bir modele uyduğumda y ~ x, $a$ ve için oldukça iyi tahminler aldım $b$ .

(x ~ y)Ancak, değişkenlerin rolünü olduğu gibi değiştirir ve sonucu $y$ bir işlevi olarak yeniden yazarsam , sonuçtaki eğim regresyon tarafından tahmin edilenden her zaman daha dik (daha fazla negatif veya daha fazla pozitif) olur . Tam olarak neden bunun olduğunu ve orada olup bitenler hakkında bana bir sezgiyi verebilecek olsaydı, bunu takdir edeceğini anlamaya çalışıyorum. $x$ y ~ x

regression

— Greg Aponte
kaynak

1

Bu genel olarak doğru değil. Belki de bunu sadece verilerinde görüyorsun. Bu kodu yapıştırın: y = rnorm (10); x = onur (10); lm (y-x); lm (x-iloksi); R içine birkaç kez ve iki yoldan gideceğini göreceksiniz.

— Makro

Bu tarif ettiğimden biraz farklı. Örneğinizde y, x'in hiçbir işlevi değildi, bu yüzden gerçekten herhangi bir "eğim" (benim örneğimde 'a) yok.

— Greg Aponte

lm (y ~ x),

modeline

y = β_{0} + β_{1} x + ε

$y = \beta_{0} + \beta_{1}x + \varepsilon$ en küçük kareler ile uyar (hatalar normal olduğunda ML hesaplamasına eşdeğerdir). Bir eğim var.

— Makro

2

Sorunuz soruluyor ve cevaplanıyor ( sırayla ) stats.stackexchange.com/questions/13126 ve stats.stackexchange.com/questions/18434 . Ancak, kimsenin henüz (a)

Y

$Y$ -

X

$X$ regresyonu, (b)

X

$X$ -

regresyonu

Y

$Y$ , (c)

X

$X$ ve

korelasyonunun analizi arasındaki ilişkilerin basit, net bir açıklamasına katkıda bulunmadığını düşünüyorum.

Y

$Y$ (D)

X

$X$ ve

değişkenlerinde hataların regresyonu

Y

$Y$ ve (e)

ye iki değişkenli bir Normal dağılımın uyması

(X, Y)

$(X,Y)$ . Bu, böyle bir fuar için iyi bir yer olurdu :-).

— whuber

2

Tabii ki Makro doğrudur: çünkü x ve y, soruda eşdeğer roller oynar, çünkü hangi eğim daha uçtursa bir şans meselesidir. Bununla birlikte, geometri (yanlış) regresyonda x ve y'yi tersine çevirdiğimizde orijinal eğimin karşılığını almamız gerektiğini önermektedir . X ve y'nin lineer olarak bağımlı olduğu durumlar hariç bu asla olmaz. Bu soru nedenini sormak olarak yorumlanabilir.

— whuber

23

Verilen veri noktaları , düzlemde düz bir çizgi çizelim . Biz önceden halinde değeri olarak arasında , o zaman hata olduğu $n$ $(x_i,y_i), i = 1,2,\ldots n$ $y = ax+b$ $ax_i+b$ $\hat{y}_i$ $y_i$ ,karesel hataolduğu , vetoplam bir hata karesi . Biz sorarız $(y_i-\hat{y}_i) = (y_i-ax_i-b)$ $(y_i-ax_i-b)^2$ $\sum_{i=1}^n (y_i-ax_i-b)^2$

ve seçimi değerini minimize eder ? $a$ $b$ $S =\displaystyle\sum_{i=1}^n (y_i-ax_i-b)^2$

Yana dikey mesafedir düz bir hattan, çizgiden soran şekildedir gelen nokta dikey mesafelerde karelerinin toplamı çizgi mümkün olduğunca küçük. Şimdi hem de karesel bir fonksiyonu olan ve ne zaman ve minimum bir değere ulaştığı ve öyle ki $(y_i-ax_i-b)$ $(x_i,y_i)$ $S$ $a$ $b$ $a$ $b$ İkinci denklemdeoluruz

\begin{aligned} \frac{\partial S}{\partial a} & = 2 \sum_{i = 1}^{n} (y_{i} - a x_{i} - b) (- x_{i}) & = 0 \\ \frac{\partial S}{\partial b} & = 2 \sum_{i = 1}^{n} (y_{i} - a x_{i} - b) (- 1) & = 0 \end{aligned}

$\begin{align*} \frac{\partial S}{\partial a} &= 2\sum_{i=1}^n (y_i-ax_i-b)(-x_i) &= 0\\ \frac{\partial S}{\partial b} &= 2\sum_{i=1}^n (y_i-ax_i-b)(-1) &= 0 \end{align*}$

burada

b = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - a x_{i}) = μ_{y} - a μ_{x}

$b = \frac{1}{n}\sum_{i=1}^n (y_i - ax_i) = \mu_y - a\mu_x$

aritmetik ortalama değerlerdir

'in ve

', sırasıyla bu. İlk denklemin yerine geçerek,

alıyoruz

μ_{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}, μ_{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}

$\displaystyle \mu_y = \frac{1}{n}\sum_{i=1}^n y_i, ~ \mu_x = \frac{1}{n}\sum_{i=1}^n x_i$

y_{i}

$y_i$

x_{i}

$x_i$

Böylece

en aza indiren çizgi,

olarak ifade edilebilir.

a = \frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}} .

$a = \frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}.$

S

$S$

y = a x + b = μ_{y} + (\frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}}) (x - μ_{x}),

$y = ax+b = \mu_y + \left(\frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}\right) (x - \mu_x),$

S

$S$

S_{min} = \frac{[(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}] [(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}] - {[(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}]}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}} .

$S_{\min} = \frac{\left[\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2\right] \left[\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2\right] - \left[\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y\right]^2}{\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}.$

ve rollerini değiştirirsek, satırını çizin ve simge küçülten ve değerlerini isteyin yani çizginin noktaların yatay mesafelerinin karelerinin toplamını , çizgi mümkün olduğunca küçük, o zaman $x$ $y$ $x = \hat{a}y + \hat{b}$ $\hat{a}$ $\hat{b}$

T = \sum_{i = 1}^{n} (x_{i} - \hat{a} y_{i} - \hat{b})^{2},

$T = \sum_{i=1}^n (x_i - \hat{a}y_i - \hat{b})^2,$

x = \hat{a} y + \hat{b} = μ_{x} + (\frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}}) (y - μ_{y})

$x = \hat{a}y+\hat{b} = \mu_x + \left(\frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}\right) (y - \mu_y)$ ve minimum değeri ,

T

$T$

T_{min} = \frac{[(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}] [(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}] - {[(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}]}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}} .

$T_{\min} = \frac{\left[\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2\right] \left[\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2\right] - \left[\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y\right]^2}{\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}.$

Her iki çizginin de noktadan geçtiğini ancak eğimlerin genel olarak farklıdır. Aslında, @whuber'ın bir yorumda işaret ettiği gibi, tüm noktalar aynı düz çizgide uzandığında aynıdır. Bunu görmek için, $(\mu_x,\mu_y)$

a = \frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}}, {\hat{a}}^{- 1} = \frac{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}

$a = \frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2},~~ \hat{a}^{-1} = \frac{ \left( \frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}$

(x_{i}, y_{i})

$(x_i,y_i)$

{\hat{a}}^{- 1} - a = \frac{S_{min}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}} = 0 \Rightarrow S_{min} = 0 \Rightarrow y_{i} = a x_{i} + b, i = 1, 2, \dots, n .

$\hat{a}^{-1} - a = \frac{S_{\min}}{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y} = 0 \Rightarrow S_{\min} = 0 \Rightarrow y_i=ax_i+b, i=1,2,\ldots, n.$

— Dilip Sarwate
kaynak

Teşekkürler! abs (korelasyon) <1, ters durumda neden eğimin sistematik olarak daha dik olduğunu hesaplar.

— Greg Aponte

(+1) ama daha önce söylediklerinizin bir resmini içeren bir cevap ekledim, çünkü geometrik bir zihnim var :)

— Elvis

Sınıf cevabı (+1)

— Digio

39

Sadece Dilip'in cevabını göstermek için: aşağıdaki resimlerde,

siyah noktalar veri noktalarıdır;
solda siyah çizgi, y ~ xkırmızı bölümlerin uzunluğundaki kareleri en aza indiren, elde edilen regresyon çizgisidir ;
sağda siyah çizgi, x ~ ykırmızı segmentlerin uzunluğundaki kareleri en aza indiren, elde edilen regresyon çizgisidir .

regresyon çizgileri

Düzenle (en az dikdörtgen regresyon)

Bir "yanıt" ve "ortak değişken" seçmenin doğal bir yolu yoksa, iki değişken birbirine bağımlıysa, ve için simetrik bir rol oynamak isteyebilirsiniz ; Bu durumda "en az dikdörtgen regresyon" kullanabilirsiniz. $y$ $x$

geç , her zaman olduğu gibi; $Y = aX + b + \epsilon$
göstermektedirler ve tahminleri koşullu için ve şartlı ; $\hat y_i = a x_i + b$ $\hat x_i = {1\over a} (y_i - b)$ $Y_i$ $X = x_i$ $X_i$ $Y = y_i$
simge küçült, bu da $\sum_i | x_i - \hat x_i | \cdot | y_i - \hat y_i|$ $\hat{y} = s i g n (c o v (x, y)) \frac{{\hat{σ}}_{y}}{{\hat{σ}}_{x}} (x - \bar{x}) + \bar{y} .$ $\hat y = \mathrm{sign}\left(\mathrm{cov}(x,y)\right){\hat\sigma_y \over \hat\sigma_x} (x-\overline x) + \overline y.$

Burada aynı veri noktalarına sahip bir örnek verilmiştir, her nokta için iki kırmızı parçanın uzunluğunun ürünü olarak bir "dikdörtgen" hesaplanır ve dikdörtgenlerin toplamı en aza indirilir. Bu regresyonun özellikleri hakkında fazla bir şey bilmiyorum ve google'da pek bir şey bulamıyorum.

en az dikdörtgenler

— Elvis
kaynak

14

Bazı notlar: ( 1 ) Yanılmıyorsam, "en az dikdörtgen regresyon" un merkezlemeden sonra " matrisindeki ilk ana bileşeni almaktan elde edilen çözüme eşdeğer olduğu anlaşılıyor ve birim varyansa sahip olmak için yeniden ölçeklendirmek ve ardından yerine geçmek. (devam)

X = (y, x)

$\mathbf X = (\mathbf y, \mathbf x)$

— kardinal

14

(devamı) ( 2 ) Bu şekilde bakıldığında, bu "en az dikdörtgen regresyon" un, ortogonal (veya toplam) en küçük kareler formuna eşdeğer olduğunu ve böylece ( 3 ) özel bir Deming regresyon durumunun eşdeğeri olduğunu görmek kolaydır . ortalanmış, ölçeklendirilmiş vektörler . Ortogonal en küçük kareler "en küçük daireler regresyon" olarak kabul edilebilir.

δ = 1

$\delta = 1$

— kardinal

2

@cardinal Çok ilginç yorumlar! (+1) P eksendendeki lmodel2R paketinde örneklenen ana eksenin ( regline çizgi ile tüm noktalar arasındaki dik mesafeleri en aza indirerek, à la PCA) veya azalan ana eksen regresyonunun veya tip II regresyonunun burada ilgili olduğuna inanıyorum. çünkü bu teknikler hangi rolü (yanıt veya tahmin) her değişken oynadığını söylemek zor olduğunda veya ölçüm hatalarını hesaba katmak istediğimizde kullanılır.

— chl

1

@chl: (+1) Evet, haklı olduğuna inanıyorum ve toplamda en küçük karelerdeki Wikipedia sayfası, aynı işlem için, aşina olmadığım diğer birçok adı da listeliyor. En azından R. Frisch, tam regresyon sistemleri ile istatistiksel birleşme analizi , çapraz regresyon adı verilen Universitetets Økonomiske Instituut, 1934'e döndüğü görülüyor .

— kardinal

3

@cardinal Vikipedi girdisini okurken daha dikkatli olmalıydım ... Gelecekte referans olarak, burada R kullanarak Biyostatistik Tasarım ve Analiz'den , M. Logan tarafından çekilmiş bir resim var (Wiley, 2010; Şekil 8.4, s. 174). Bu da Elvis'in güzel illüstrasyonları gibi farklı yaklaşımları özetliyor.

— chl

13

Eğimi neden bir regresyon için daha küçük gördüğünüze dair kısa bir not. Her iki eğim de üç sayıya bağlıdır: ve standart sapmaları ( ve ) ve ve ( ) arasındaki korelasyon . Yanıt olarak ile yapılan regresyon eğimi eğimine ve yanıt olarak olan regresyon eğrisi , ilk eğimin saniyenin karşılıklılığına oranı eşittir . $x$ $y$ $s_{x}$ $s_{y}$ $x$ $y$ $r$ $y$ $r\frac{s_{y}}{s_{x}}$ $x$ $r\frac{s_{x}}{s_{y}}$ $r^2\leq 1$

Dolayısıyla, açıklanan varyans oranı arttıkça, her bir durumdan elde edilen eğimler daha da yakınlaşmaktadır. Açıklanan varyans oranının simetrik olduğuna ve basit doğrusal regresyonda kare korelasyona eşit olduğuna dikkat edin.

— probabilityislogic
kaynak

1

Buna bakmanın basit bir yolu, eğer gerçek model için , iki regresyon yaptığınızdır: $y=\alpha+\beta x+\epsilon$

$y=a_{y\sim x}+b_{y\sim x} x$
$x=a_{x\sim y}+b_{x\sim y} y$

Sonra, : $b_{y\sim x}=\frac{cov(x,y)}{var(x)}=\frac{cov(x,y)}{var(y)}\frac{var(y)}{var(x)}$

b_{y \sim x} = b_{x \sim y} \frac{v a r (y)}{v a r (x)}

$b_{y\sim x}=b_{x\sim y}\frac{var(y)}{var(x)}$

Bu yüzden daha dik bir eğim olsun veya olmasın, sadece oranına bağlıdır . Bu oran varsayılan gerçek modele göre eşittir: $\frac{var(y)}{var(x)}$

\frac{v a r (y)}{v a r (x)} = \frac{β^{2} v a r (x) + v a r (ϵ)}{v a r (x)}

$\frac{var(y)}{var(x)}=\frac{\beta^2 var(x) + var(\epsilon)}{var(x)}$

Diğer cevaplarla bağlantı

Bu sonucu, , bunun karşılıklı olması gerektiğini söyleyen diğerlerinin cevaplarına bağlayabilirsiniz . Gerçekten, ve ayrıca, (tahmin hatası yok), Dolayısıyla: $R^2=1$ $R^2=1\Rightarrow var(\epsilon) = 0$ $b_{y\sim x}=\beta$

R^{2} = 1 \Rightarrow b_{y \sim x} = b_{x \sim y} \frac{β^{2} v a r (x) + 0}{v a r (x)} = b_{x \sim y} β^{2}

$R^2=1\Rightarrow b_{y\sim x}=b_{x\sim y}\frac{\beta^2 var(x) + 0}{var(x)}=b_{x\sim y}\beta^2$

Öyleyse $b_{x\sim y}=1/\beta$

— Matifou
kaynak

0

Girdilerinizde de gürültü olduğu zaman ilginçleşir (ki tartışabileceğimiz her zaman, hiçbir komut veya gözlem asla mükemmel değildir).

Basit bir ilişkisine dayanan fenomeni gözlemlemek için hem x hem de y üzerindeki Gauss gürültüsü ile bazı simülasyonlar yaptım . Gözlemleri şu şekilde yaptım (python kodu): $x = y$

x = np.linspace(0, 1, n)
y = x

x_o = x + np.random.normal(0, 0.2, n)
y_o = y + np.random.normal(0, 0.2, n)

Farklı sonuçlara bakınız (buradaki olasılık ortogonal mesafe regresyonu, yani en az dikdörtgen regresyonudur):

Bütün kod orada:

https://gist.github.com/jclevesque/5273ad9077d9ea93994f6d96c20b0ddd

— levesque
kaynak

0

Regresyon çizgisi (her zaman) gerçek ilişkiyle aynı değildir

Gibi bazı 'gerçek' nedensel ilişki olabilir

y = a + b x + ϵ

$y = a + bx + \epsilon$

ancak uygun regresyon çizgileri var y ~ xya da x ~ ynedensel ilişki ile aynı anlama gelmiyor (pratikte regresyon çizgisinden birinin ifadesi bile nedensel 'gerçek' ilişki ifadesinin ifadesiyle örtüşebilir)

Eğimler arasında daha kesin bir ilişki

İki anahtarlamalı basit doğrusal regresyon için:

Y = a_{1} + b_{1} X X = a_{2} + b_{2} Y

$Y = a_1 + b_1 X\\X = a_2 + b_2 Y$

eğimleri aşağıdaki gibi ilişkilendirebilirsiniz:

b_{1} = ρ^{2} \frac{1}{b_{2}} \leq \frac{1}{b_{2}}

$b_1 = \rho^2 \frac{1}{b_2} \leq \frac{1}{b_2}$

Yani eğimler birbirinin tersi değil .

Sezgi

Nedeni bu

Regresyon çizgileri ve korelasyonları mutlaka bire bir nedensel ilişkiye karşılık gelmez .
Regresyon çizgileri daha doğrudan koşullu bir olasılık veya en iyi tahmin ile ilgilidir.

Koşullu olasılığın ilişkinin gücü ile ilgili olduğunu hayal edebilirsiniz. Regresyon çizgileri bunu yansıtır ve çizgilerin eğimleri, ilişkinin kuvveti küçük olduğunda sığ olabilir veya ilişkinin gücü güçlü olduğunda her ikisi de dik olabilir. Eğimler sadece birbirlerinin tersi değildir.

Örnek

İki değişken ise ve bazı (nedensel) doğrusal ilişki yoluyla birbirleriyle ilişkisini O zaman olacağını tahmin edebilirsiniz değil tamamen bu ilişkiyi tersine iyi olmak verilen değerine göre ifade etmek istemeniz durumunda . $X$ $Y$

Y = a little bit of X + a lot of error

$Y = \text{a little bit of $X + $ a lot of error}$

X

$X$

Y

$Y$

Onun yerine

X = a lot of Y + a little of error

$X = \text{a lot of $Y + $ a little of error}$

ayrıca kullanmak daha iyi olurdu

X = a little bit of Y + a lot of error

$X = \text{a little bit of $Y + $ a lot of error}$

İlgili regresyon çizgileri ile aşağıdaki örnek dağılımlara bakınız. Dağılımlar, ve ile çok değişkenli normaldir. $\Sigma_{11} \Sigma_{22}=1$ $\Sigma_{12} = \Sigma_{21} = \rho$

Koşullu beklenen değerler (doğrusal regresyonda ne elde edersiniz)

\begin{matrix} E (Y | X) & = & ρ X \\ E (X | Y) & = & ρ Y \end{matrix}

$\begin{array}{} E(Y|X) &=& \rho X \\ E(X|Y) &=& \rho Y \end{array}$

ve bu durumda, çok değişkenli normal bir dağılım, daha sonra marjinal dağılımlar $X,Y$

\begin{matrix} Y & \sim & N (ρ X, 1 - ρ^{2}) \\ X & \sim & N (ρ Y, 1 - ρ^{2}) \end{matrix}

$\begin{array}{} Y & \sim & N(\rho X,1-\rho^2) \\ X & \sim & N(\rho Y,1-\rho^2) \end{array}$

Böylece Y değişkeni, bir parça ve varyans olan bir parça gürültüsü olarak görebilirsiniz . Aynısı, bunun tersi de geçerlidir. $\rho X$ $1-\rho^2$

Korelasyon katsayısı daha büyük , yakın iki satır olacaktır. Ama korelasyon düşürmek, daha az güçlü bir ilişki, çizgiler daha az olacaktır dik (bunun için doğrudur hem hatlar ve ) $\rho$ Y ~ XX ~ Y

— Sextus Empiricus
kaynak

0

Kısa cevap

Basit bir doğrusal regresyonun amacı, ydeğişkenin değerlerini verilen değişkenin en iyi tahminlerini xbulmaktır. Bu, xdeğişkenin en iyi tahminini bulmaya çalışmaktan, değişkenin değerleri verilenden farklı bir amaçtır y.

Basit doğrusal regresyon y ~ xsize yverilen tahmin için 'en iyi' mümkün modeli verir x. Bu nedenle, eğer bir modele x ~ yuyarsanız ve cebirsel olarak tersine çevirirseniz, bu model sadece model için olduğu kadar en iyisini de yapabilir y ~ x. Ancak , “uygun” modele kıyasla verilen x ~ yöngörülerde modelin tersine çevrilmesi genellikle “daha kötü” olacaktır , çünkü “ters model” farklı bir amacı yerine getirmek için yaratılmıştır.yxy ~ xx ~ y

örnekleme

Aşağıdaki veri setine sahip olduğunuzu hayal edin:

Bir OLS regresyonu y ~ xyaptığınızda, aşağıdaki model ile karşılaşırsınız.

y = 0.167 + 1.5*x

Bu y, ilgili hataları olan aşağıdaki tahminleri yaparak tahminlerini optimize eder :

OLS regresyonunun öngörüleri, en sağdaki sütundaki değerlerin toplamının (yani karelerin toplamı) olabildiğince küçük olması anlamında en uygunudur.

Bir OLS regresyonu x ~ yyaptığınızda, farklı bir model ortaya çıkar:

x = -0.07 + 0.64*y

Bu, x ile ilgili tahminleri, ilişkili hataları olan aşağıdaki tahminleri yaparak optimize eder.

Yine, bu en sağdaki sütunun değerlerinin toplamının mümkün olduğu kadar küçük olması (eşit 0.071) anlamında idealdir .

Şimdi, y = 0.167 + 1.5*xcebir kullanarak, size modelini veren ilk modeli ters çevirmeyi denediğinizi hayal edin x = -0.11 + 0.67*x.

Bu size aşağıdaki öngörüleri ve ilgili hataları verecektir:

En sağdaki sütundaki değerlerin toplamıdır; 0.074ki bu, y üzerinde x gerileme yaparak elde ettiğiniz modelden karşılık gelen toplamdan daha büyüktür, yani x ~ ymodel. Başka bir deyişle, "ters y ~ xmodel", x'in tahmininde OLS modelinden daha kötü bir iş yapıyor x ~ y.

— bschneidr
kaynak