Çoklu regresyon veya kısmi korelasyon katsayısı? Ve ikisi arasındaki ilişkiler

Bu sorunun bir anlam ifade edip etmediğini bile bilmiyorum, ancak çoklu regresyon ve kısmi korelasyon arasındaki fark nedir (korelasyon ve regresyon arasındaki bariz farklar dışında, neyi hedeflediğim değil)?

Aşağıdakileri istiyorum:
İki bağımsız değişkenim ( , ) ve bir bağımlı değişkenim ( ) var. Şimdi bireysel olarak bağımsız değişkenler bağımlı değişkenle ilişkilendirilmez. Ancak, belirli bir için zaman azalır azalır. Öyleyse , çoklu regresyon veya kısmi korelasyon yoluyla bunu analiz ediyor muyum ?$x_1$$x_2$$y$$x_1$ $y$$x_2$

Umarım sorumu geliştirmek için düzenleme: Çoklu regresyon ve kısmi korelasyon arasındaki farkı anlamaya çalışıyorum. Yani, , belirli bir azalmaktadır azalır, bu kombine etkisi nedeniyle ve ile (çoklu regresyon) ya da bunun nedeni etkisini çıkarılması için (kısmi korelasyon)?$y$$x_1$$x_2$$x_1$$x_2$$y$$x_1$

Çoklu doğrusal regresyon katsayısı ve kısmi korelasyon doğrudan bağlanır ve aynı öneme sahiptir (p-değeri). Kısmi r , beta katsayısı (standardize edilmiş regresyon katsayısı) ile birlikte katsayının standardize edilmesinin başka bir yoludur . Bağımlı değişken Yani, eğer ve Bağımsızlar olan ve sonra$^1$$y$$x_1$$x_2$

$$\text{Beta:} \quad \beta_{x_1} = \frac{r_{yx_1} - r_{yx_2}r_{x_1x_2} }{1-r_{x_1x_2}^2}$$

$$\text{Partial r:} \quad r_{yx_1.x_2} = \frac{r_{yx_1} - r_{yx_2}r_{x_1x_2} }{\sqrt{ (1-r_{yx_2}^2)(1-r_{x_1x_2}^2) }}$$

Numaratörlerin aynı olduğunu görüyorsunuz, her iki formül de aynı benzersiz etkisini ölçüyor . İki formülün yapısal olarak nasıl aynı olduğunu ve nasıl olmadığını açıklamaya çalışacağım.$x_1$

Her üç değişkenin de z standardize edildiğini (ortalama 0, varyans 1) varsayalım . Pay daha sonra iki tür arasında kovaryans eşittir artıklar : tahmin sol (a) 'artıkları ile [standart, her iki değişken] ve tahmin kalan (b)' artıkları ile [standart, her iki değişken]. Dahası, artıkların varyansı (a) ; Artıkların (b) varyansı .$y$$x_2$$x_1$$x_2$$1-r_{yx_2}^2$$1-r_{x_1x_2}^2$

Formülü kısmi ilişki daha sonra açık bir şekilde, düz, Pearson formülünü görünür Pearson: artıklar (a) ve artıklar (b) arasındaki bu durumda hesaplanan, , bildiğimiz kovaryans geometrik ortalaması olmaktadır payda bölünür, iki farklı varyans.$r$$r$

Standardize edilmiş katsayısı beta yapısal olarak Pearson , sadece payda kendi benliğindeki bir varyansın geometrik ortalamasıdır . Artıkların varyansı (a) sayılmamıştır; artıkların varyansının ikinci sayımıyla değiştirildi (b). Böylece Beta, iki kalıntının kovaryansı, birinin birinin varyansına bağlı olarak belirlenir (özellikle, ilgi belirleyen kişi, ). Kısmi korelasyon, daha önce farkedildiği gibi, aynı kovaryansın hibrit varyanslarına göre aynı olmasıdır . Her iki katsayı türü, etkisini diğer tahmincilerin ortamında standart hale yollarıdır .$r$$x_1$$x_1$

Farklılığın bazı sayısal sonuçları. Çoklu regresyonunun R-kare ise ile ve 1 olması umulur sonra bağımlı olan belirleyicilerinin her iki kısmi korelasyonlar 1 mutlak değeri olacaktır (ancak, betalar genellikle 1 olmayacaktır). Aslında, daha önce de belirtildiği gibi, , artıkları ve artıkları arasındaki . Eğer neyi değildir içinde edilir tam olarak neyi değildir içinde sonra içinde bir şey yok ne olduğunu ne de$y$$x_1$$x_2$$r_{yx_1.x_2}$y <- x2x1 <- x2$x_2$$y$ $x_2$$x_1$$y$$x_1$$x_2$ : tam oturması. Açıklanamayan (göre miktarı ne olursa olsun, bir sol) kısım ( bu bağımsız kısmı tarafından nispeten yüksek yakalanır ise), ile ( ), yüksek olacaktır. , diğer taraftan, yüksek sadece olmak ele açıklanamayan kısmı şartıyla olacak kendisinin önemli bir kısmı olan .$x_2$$y$$1-r_{yx_2}^2$$x_1$$1-r_{x_1x_2}^2$$r_{yx_1.x_2}$$\beta_{x_1}$$y$$y$

---

Yukarıdaki formüllerden bir tanesi (ve 2-öngörücülü regresyondan, rasgele sayıdaki tahmincisi olan bir regresyona uzanan ), beta ve karşılık gelen kısmi r arasındaki dönüşüm formülünü elde eder:$x_1,x_2,x_3,...$

$$r_{yx_1.X} = \beta_{x_1} \sqrt{ \frac {\text{var} (e_{x_1 \leftarrow X})} {\text{var} (e_{y \leftarrow X})}},$$

nerede akımı (dışındaki tüm belirleyicileri toplanması anlamına ); regresyon denklemi artıklar olan ile ve regresyon denklemi artıklar olan göre , bu regresyon onları içeri hem de değişken standart .$X$$x_1$ y X e x 1 ← $e_{y \leftarrow X}$$y$$X$$e_{x_1 \leftarrow X}$$x_1$$X$

Not: kısmi korelasyonlarını her bir tahmincisi ile hesaplamamız gerekirse, genellikle iki ek regresyon yapılması gereken bu formülü kullanmayacağız. Aksine, tarama işlemleri (genellikle adım adım ve tüm alt kümeler regresyon algoritmalarında kullanılır) yapılacak veya görüntü karşıtı korelasyon matrisi hesaplanacaktır.$y$$x$

---

$^1$ $\beta_{x_1} = b_{x_1} \frac {\sigma_{x_1}}{\sigma_y}$ , ham ve standartlaştırılmış katsayıları ile regresyon arasındaki ilişkidir .$b$$\beta$

Sadece sırtı tesadüfen çarptım. Orijinal cevapta, formülünde faktörü eksik, yani burada ve .$\beta_{x_1}$$\sqrt{SSY/SSX_1}$

$$\beta_{x_1} = \frac{r_{yx_1} - r_{y x_2} ~r_{x_1 x_2}} {1-r^2_{x_1 x_2}} \times \sqrt{\frac{SSY}{SSX_1}},$$ $SSY=\sum_i (y_i-\bar y)^2$$SSX_1 = \sum_i {(x_{1i} - \bar{x}_1)^2}$