Y ile y üzerindeki x ve x ile y arasındaki doğrusal regresyon arasındaki fark nedir?

Pearson (x, y) veya pearson (y, x) hesaplarsanız, x ve y'nin Pearson korelasyon katsayısı aynıdır. Bu, y verilen x değerindeki y doğrusal bir regresyon yapmanın aynı olması gerektiğini gösterir, ancak durumun böyle olduğunu sanmıyorum.

Birisi ilişki simetrik olmadığında ve bunun her zaman en uygun çizgiyi özetlediğini düşündüğümce Pearson korelasyon katsayısı ile nasıl ilgili olduğuna ışık tutabilir mi?

Bunun hakkında düşünmenin en iyi yolu , dikey eksende ve yatay eksen tarafından temsil edilen nokta dağılımını hayal etmektir. Bu çerçeve göz önüne alındığında, belirsiz bir şekilde dairesel olabilen veya bir elipsin üzerinde uzayabilen bir nokta bulutu görüyorsunuz. Regresyonda yapmaya çalıştığınız şey, 'en uygun satır' olarak adlandırılabilecek şeyi bulmaktır. Bununla birlikte, bu basit gibi görünse de, 'en iyi' ile ne demek istediğimizi anlamamız gerekir ve bu, bir çizginin iyi olması için ne olacağını, bir çizginin diğerinden daha iyi olmasını vb. Tanımlamamız gerektiğini gösterir. , bir kayıp fonksiyonunu şart koşmalıyız$y$$x$. Bir kayıp işlevi bize bir şeyin ne kadar 'kötü' olduğunu söylemenin bir yolunu sunar ve böylece, bunu en aza indirdiğimizde çizgimizi olabildiğince 'iyi' yaparız veya 'en iyi' çizgiyi buluruz.

Geleneksel olarak, bir regresyon analizi yaptığımızda , kare hatalarının toplamını en aza indirecek şekilde eğim ve kesişim tahminlerini buluruz . Bunlar şu şekilde tanımlanmıştır:

$$SSE=\sum_{i=1}^N(y_i-(\hat\beta_0+\hat\beta_1x_i))^2$$

Dağılım grafiğimiz açısından, bu , gözlemlenen veri noktaları ve çizgi arasındaki (karelerin toplamı) dikey mesafeleri en aza indirdiğimiz anlamına gelir .

Öte yandan, gerileme mükemmel makul üzerine , ancak bu durumda, biz koyardı böylece dikey eksende ve. İle (olduğu gibi bizim arsa devam ederse gerileme, yatay eksende) üzerine (yukarıdaki denklemde bir uyarlanabilen versiyonunu kullanarak tekrar ve bağlanmış) biz toplamı minimize edilmesi anlamına gelir yatay mesafelery x x x y x $x$$y$$x$$x$$x$$y$$x$$y$Gözlenen veri noktaları ve çizgi arasında. Kulağa çok benziyor ama aynı şey değil. (Bunu tanımanın yolu, her iki yolu da yapmak ve daha sonra cebirsel olarak bir parametre tahmin kümesini diğerinin koşullarına dönüştürmektir. İlk modeli, ikinci modelin yeniden düzenlenmiş sürümüyle karşılaştırmak, bunların kolay olduğunu görmek için kolaylaşır. aynı değil.)

Her iki yolun da, biri bize çizilen noktalarla birlikte bir grafik kağıdı verirse sezgisel olarak çizeceğimiz çizgiyi üretmeyeceğini unutmayın. Bu durumda, tam merkezden bir çizgi çizeriz, ancak dikey mesafeyi en aza indirirsek , biraz daha yassı olan bir çizgi (yani daha sığ bir eğime sahip) verirken, yatay mesafeyi en aza indiren biraz daha dik bir çizgi verir .

Bir korelasyon simetriktir; olarak ile korelasyon olarak ile . Ancak Pearson moment çarpımı korelasyonu regresyon bağlamında anlaşılabilir. Korelasyon katsayısı, , her iki değişken ilk olarak standartlaştırıldığında , regresyon çizgisinin eğimidir . Yani, önce her gözlemdeki ortalamayı çıkardınız ve sonra farkları standart sapma ile böldünüz. Veri noktalarının bulut hemen kökenli merkezli olacak ve eğim Eğer geriledi olup aynı olacaktır üzerine veya üzeriney y x r y x x $x$$y$$y$$x$$r$$y$$x$$x$$y$ (ancak aşağıdaki @DilipSarwate tarafından yapılan yoruma dikkat edin).

Şimdi, bu neden önemli? Geleneksel kayıp fonksiyonumuzu kullanarak, hatanın tümünün sadece değişkenlerden birinde olduğunu söylüyoruz (viz., ). Biz de söylüyor, bir hatasız olarak ölçülür ve yaklaşık bakım değerler kümesini oluşturmaktadır, ancak sahiptir Örnekleme hatasınıx $y$$x$$y$. Bu, konuşmayı söylemekten çok farklı. Bu ilginç bir tarihsel bölümde önemliydi: ABD'deki 70'li yılların sonlarında ve 80'li yılların başlarında, işyerinde kadınlara karşı ayrımcılık yapıldığına dair bir dava yapıldı ve bu durum, kadınların eşit geçmişe sahip olduğunu gösteren regresyon analizleriyle desteklendi (ör. yeterlilikler, tecrübe vb. Eleştirmenler (ya da sadece fazladan ayrıntılı olan insanlar), bu doğruysa, erkeklerle eşit olarak ödenen kadınların daha yüksek nitelikte olması gerektiğine hükmetti, ancak bu kontrol edildiğinde, sonuçların ne zaman “anlamlı” olduğu ortaya çıktı. bir yolu değerlendirdiler, diğerlerini kontrol ettiklerinde 'önemli' olmadılar, bu da herkesi karmakarışık hale getirdi. Buraya bak sorunu gidermeye çalışan ünlü bir bildiri için.

---

(Daha sonra güncellendi) Konuya görsel olarak değil formüller aracılığıyla yaklaşan bunun hakkında düşünmenin başka bir yolu:

Basit bir regresyon çizgisinin eğim formülü, kabul edilen kayıp fonksiyonunun bir sonucudur. Standart Olağan En Küçük Kareler kaybı işlevini kullanıyorsanız (yukarıda belirtilen), her giriş ders kitabında gördüğünüz eğim formülünü alabilirsiniz. Bu formül çeşitli şekillerde sunulabilir; bunlardan biri eğim için 'sezgisel' formül. Eğer gerileyen olan durum her ikisi için bu formu düşünün üzerinde , ve nereye gerilemesinde olan üzerinde : $y$$x$$x$$y$

$$\overbrace{\hat\beta_1=\frac{\text{Cov}(x,y)}{\text{Var}(x)}}^{y\text{ on } x}~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~\overbrace{\hat\beta_1=\frac{\text{Cov}(y,x)}{\text{Var}(y)}}^{x\text{ on }y}$$ Şimdi, umarım eşit olmadığı sürece bunların aynı olmayacağı açıktır . Varyanslar ise şunlardır eşit (örneğin, önce değişkenleri standardize çünkü), o zaman standart sapmalar ve böylece varyanslar olur hem de eşit . Bu durumda, , her ikisinin de değişebilirlik ilkesi nedeniyle aynı olan Pearson'un değerine eşit olacaktır : $\text{Var}(x)$$\text{Var}(y)$$\text{SD}(x)\text{SD}(y)$$\hat\beta_1$$r$ $$\overbrace{r=\frac{\text{Cov}(x,y)}{\text{SD}(x)\text{SD}(y)}}^{\text{correlating }x\text{ with }y}~~~~~~~~~~~~~~~~~~~~~~~~~~~\overbrace{r=\frac{\text{Cov}(y,x)}{\text{SD}(y)\text{SD}(x)}}^{\text{correlating }y\text{ with }x}$$

Cevabı biraz Rkod ve çıktı ile göstereceğim .

İlk önce, yortalama 5 ve 1 SD içeren rastgele normal bir dağılım inşa ediyoruz :

y <- rnorm(1000, mean=5, sd=1)

Daha sonra, bilerek her biri xiçin değerin 5 katı olan ikinci bir rasgele normal dağılım oluşturdum :yy

x <- y*5

Tasarım olarak, xve aşağıdakilerin arasında mükemmel bir korelasyon var y:

cor(x,y)
[1] 1
cor(y,x)
[1] 1

Bununla birlikte, bir regresyon yaptığımızda , regresyon katsayılarının sonuçları ile ilgili olan xve ydolayısıyla bağımlı değişken olarak hangisini kullandığımız ve bağımsız değişken olarak kullandığımıza bağlı olan bir fonksiyon ararız. Bu durumda, bir engellemeye uymuyoruz çünkü rastgele değişmeyen xbir işlevi yaptık y:

lm(y~x-1)
Call:
lm(formula = y ~ x - 1)

Coefficients:
  x  
0.2

lm(x ~ y-1)
Call:
lm(formula = x ~ y - 1)

Coefficients:
y  
5  

Dolayısıyla gerilemeler bize elbette eşdeğer y=0.2xolduğunu söylüyor x=5y. Korelasyon katsayısı basitçe bize, birim değişim seviyelerinde xve arasındaki y(örneğin) 1 birim artışta yher zaman 0.2 birim artış üreten bir birim değişim seviyelerinde kesin bir eşleşme olduğunu gösteriyor x.

Pearson'un korelasyonunun, x'e y'ye veya y'ye x'e karşı bir regresyon yapmamızın aynı olması anlayışı ile aynı lineer regresyona sahip olmamız gereken aynıdır. Bu sadece biraz yanlıştır ve gerçekte ne olduğunu anlamak için bunu kullanabiliriz.

Bu, bir çizginin denklemidir, regresyonumuzdan elde etmeye çalıştığımız şey budur.

Bu çizginin eğimi için denklem Pearson'un korelasyonu tarafından yönlendirilir.

Bu Pearson'un korelasyonunun denklemidir. Aynı şekilde, x'e y'ye veya y'ye x'e karşı gerileme yapmamız aynıdır.

Ancak eğim için ikinci denklemimize baktığımızda, Pearson denkleminin bu denklemdeki tek terim olmadığını görüyoruz. Eğer y'yi x'e karşı hesaplıyorsak, aynı zamanda y'nin örnek standart sapmasının x örnek sapma oranına da sahip olduk. Eğer x'in y'ye karşı regresyonunu hesaplarsak, bu iki terimi tersine çevirmemiz gerekir.

Bu gibi sorular üzerine teknik meselelere dikkat çekmek kolaydır, bu yüzden özellikle şunu soran konu başlığına soruna odaklanmak istiyorum: x ile y ve x ile y ile doğrusal regresyon arasındaki fark nedir? ?

$$\begin{equation} \text{wages} = b_{0} + b_{1}~\text{years of education} + \text{error} \end{equation}$$

$$\begin{equation} \text{years of education} = b_{0} + b_{1}~\text{wages} + \text{error} \end{equation}$$

Bunun gibi daha fazla örnek düşünebileceğinizden eminim (iktisat dünyasının dışında da), ancak gördüğünüz gibi, modelin yorumlanması, y'den x'e y'den y'ye gerileme yaptığımızda oldukça önemli ölçüde değişebilir.

Öyleyse, şu soruyu cevaplamak için: y ile x ve x ile y ile doğrusal regresyon arasındaki fark nedir? , regresyon denkleminin yorumunun , x yerine y yerine x üzerine gerileme yaptığımızda değiştiğini söyleyebiliriz . Bu noktayı gözden kaçırmamalıyız, çünkü ses yorumlaması olan bir model çabucak çok az anlam ifade eden veya hiç anlam ifade etmeyen bir duruma dönüşebilir.

Bu konuyla ilgili çok ilginç bir fenomen var. X ve y değiş tokuşundan sonra, regresyon katsayısı değişse de, ancak t-istatistiği / F-istatistiği ve katsayı için anlamlılık seviyesi değişmez. Bu, bağımsız değişkenlerden biriyle y değiş tokuş yaptığımız çoklu regresyonda bile geçerlidir.

F-istatistik ve (kısmi) korelasyon katsayısı arasındaki hassas bir ilişkiden kaynaklanmaktadır. Bu ilişki gerçekten lineer model teorisinin çekirdeğine değiniyor. Not defterimdeki bu sonuçla ilgili daha fazla ayrıntı var: Neden y ve x değişimi p'yi etkilemiyor?

@ Gung'ın mükemmel cevabını genişletmek:

$r$$y$$x$$x$$y$

$$\sqrt{{\hat{\beta}_1}_{y\,on\,x} \cdot {\hat{\beta}_1}_{x\,on\,y}} = \sqrt{\frac{\text{Cov}(x,y)}{\text{Var}(x)} \cdot \frac{\text{Cov}(y,x)}{\text{Var}(y)}} = \frac{|\text{Cov}(x,y)|}{\text{SD}(x) \cdot \text{SD}(y)} = |r|$$ $r$
$$r = sign({\hat{\beta}_1}_{y\,on\,x}) \cdot \sqrt{{\hat{\beta}_1}_{y\,on\,x} \cdot {\hat{\beta}_1}_{x\,on\,y}}$$ $$r = sign({\hat{\beta}_1}_{x\,on\,y}) \cdot \sqrt{{\hat{\beta}_1}_{y\,on\,x} \cdot {\hat{\beta}_1}_{x\,on\,y}}$$

$r$

$$|\frac{1}{2} \cdot ({\hat{\beta}_1}_{y\,on\,x} + {\hat{\beta}_1}_{x\,on\,y})| \geq \sqrt{{\hat{\beta}_1}_{y\,on\,x} \cdot {\hat{\beta}_1}_{x\,on\,y}} = |r|$$

$\textbf{ Doing regression of $y$ given $x$}$

$$\min_b \mathbb E(Y - bX)^2$$

için ise : gibi yazılabilir:$\textbf{doing regression of $x$ given $y$}$

$$\min_b \mathbb E(X - bY)^2$$

$$\min_b \frac{1}{b^2} \mathbb E(Y - bX)^2$$

İki farklı görünen sorunun da aynı çözüme sahip olabileceğini not etmek önemlidir.

Eh, basit bir iki değişkenli regresyon için, doğrusal korelasyon katsayısı ve R-kare her iki denklem için aynı olacağı doğrudur. Ancak eğimler, r = 1 olmadıkça, birbirlerinin karşılığı olmayan r Sy / Sx veya r Sx / Sy olacaktır.

Temel regresyon fikri 'sebep ve sonuç' veya 'bağımsız ve bağımlı' olabilir. X değişkenine bağımsız değişken ve Y eksenine bağımlı değişken yerleştirmenin normal uygulaması, Y = mX + c ile gösterilir. Eğimin m (X üzerinde Y) veya (X üzerinde Y) olarak mı, (X üzerinde Y) veya (X üzerinde Y) olarak mı belirtileceğidir. İyi değil ve netleştirilmesi gereken her iki şekilde de kullanılır. Modelciler, Simüle Serilerinin Gözlenen Seriler ile uyuşup uyuşmadığını değerlendirmek için sıkça Scatter Plots; ve regresyon çizgisinin kullanılması kaçınılmazdır. burada bir nedensel madde yoktur. Bu zorunluluktan yola çıkarak, iş parçacığı tarafından sorulan sessiz sorusu duruyor. Ya da basitçe, lütfen normal regresyon analizinin nasıl çağrılacağını açıklığa kavuşturun: X on Y; veya X üzerindeki Y?, nedensel cevabın ötesine geçerek. Ana konuya bir cevap değil; ama paralel bir soru.