Çoklu korelasyon katsayısı ve belirleme katsayısının geometrik yorumu

Birden korelasyon geometrik anlamı ilgilenen am ve kararlılık katsayısı Regresyondaki veya vektör gösteriminde,R 2 y i = β 1 + β 2 x 2 , i + ⋯ + β k x k , i + ϵ $R$$R^2$$y_i = \beta_1 + \beta_2 x_{2,i} + \dots + \beta_k x_{k,i} + \epsilon_i$

$$\mathbf{y} = \mathbf{X \beta} + \mathbf{\epsilon}$$

Burada, " tasarım matrisi , satır ve sütununa sahiptir, bunlardan ilki , 1 kesişimine karşılık gelen bir . n k x 1 = 1 n β $\mathbf{X}$$n$$k$$\mathbf{x}_1 = \mathbf{1}_n$$\beta_1$

Geometri daha ilginçtir boyutlu konu alan ziyade içinde boyutlu değişken alanı. Şapka matrisini tanımlayın:$n$$k$

$$\mathbf{H} = \mathbf{X \left(X^\top X \right)}^{-1} \mathbf{X}^\top$$

Bu, sütun alanına dikgen bir projeksiyondur ; yani, her biri değişkenini temsil eden vektörleri tarafından yayılan orijinden geçen daire , ilki . Ardından , gözlenen yanıtların vektörünü "gölgesine", takılı değerlerin vektörüne , ve biz izdüşüm yolunun etrafına bakınca kalıntı vektörünü görelim bir üçgenin üçüncü tarafını oluşturur. Bu bize geometrik yorumuna iki yol göstermelidir.$\mathbf{X}$$k$$\mathbf{x}_i$$\mathbf{1}_n$$\mathbf{H}$$\mathbf{y}$$\mathbf{\hat{y}} = \mathbf{Hy}$$\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$$R^2$:

1. Çoklu korelasyon katsayısı, kare $R$ arasındaki ilişki olarak tanımlanır, $\mathbf{y}$ ve y . Bu, geometrik olarak bir açının kosinüsü olarak görünecektir.$\mathbf{\hat{y}}$
2. Vektörlerin uzunlukları açısından: örneğin .$SS_\text{residual} = \sum_{i=1}^{n}e_i^2 = \|\mathbf{e}\|^2$

Açıklayan kısa bir hesap görmek beni çok mutlu eder:

• (1) ve (2) için daha ince detaylar,
• (1) ve (2) neden eşdeğerdir?
• Kısaca, geometrik kavrayış bize temel özelliklerini nasıl görselleştirmemize izin veriyor , mesela gürültü varyansı 0'a gittiğinde neden 1'e gidiyor? Güzel bir resim.)$R^2$

Değişkenleri önce merkezlenmişse, bu kesiti sorudan kaldıran şey daha basit olur. Bununla birlikte, çoklu regresyon sağlayan birçok ders kitabı hesabında, tasarım matrisi ortaya koyduğum gibidir. Elbette, bir merkezlenmiş değişkenlerin kapsadığı boşluğa bir açıklama girerse sorun yoktur, ancak ders kitabı doğrusal cebirine ilişkin içgörü için, bunu merkezsiz ortamda geometrik olarak olanlarla ilişkilendirmek çok yararlı olacaktır. Bir gerçekten anlayışlı cevap açıklayabilir tam geometrik parçalayarak ne kesişme terim düştüğünde - yani ne zaman vektör$\mathbf{X}$$\mathbf{1}_n$yayılma kümesinden çıkarıldı. Bu son noktanın yalnızca merkezlenmiş değişkenler göz önüne alınarak ele alınabileceğini sanmıyorum.

Eğer modelde sabit bir terim varsa, o zaman , X sütun boşluğunda yer alır ( daha sonra faydalı olacak olan useful Y 1 n'de olduğu gibi). Monte Y'nin gözlenen ortogonal projeksiyonu Y bu sütun alanı tarafından oluşturulan düz yerleştirin. Bu araçlar artıklar vektör e = y - y düz dik olan ve dolayısıyla, 1 n . Nokta ürünü göz önüne alındığında ∑ n i = 1 e i = 0 görebiliriz , yani$\mathbf{1_n}$$\mathbf{X}$$\bar{Y}\mathbf{1_n}$$\mathbf{\hat{Y}}$$\mathbf{Y}$$\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$$\mathbf{1_n}$$\sum_{i=1}^n e_i = 0$ sıfıra toplanmalıdır. Y i = ^ Y i + e i 'den beri ∑ n i = 1 Y i = ∑ n i = 1 ^ Y i olduğu sonucuna vardık,böylece hem takılan hem de gözlenen yanıtların ortalama ˉ Y olduğu görüldü.$\mathbf{e}$$Y_i = \hat{Y_i} + e_i$$\sum_{i=1}^n Y_i = \sum_{i=1}^n \hat{Y_i}$$\bar{Y}$

Diyagramda kesik çizgiler temsil ve Y, - ˉ Y 1 N olan, ortalanmış gözlenen ve monte yanıtlar için vektörler. Açısının kosinüsü İçeride ISTV melerin RWMAIWi'nin bu vektörler ve bu nedenle arada korelasyon olacak Y ve Y tanımına göre çoklu korelasyon katsayısı, R ' . Bu vektörler, artıklar vektörü ile meydana üçgen çünkü dik açılı olan Y - ˉ Y 1 , n yalan düz değil $\mathbf{Y} - \bar{Y}\mathbf{1_n}$$\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$$\theta$$Y$$\hat{Y}$$R$$\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ ona diktir. Dolayısıyla:$\mathbf{e}$

$$R = \cos(\theta) = \frac{\text{adj}}{\text{hyp}} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|}$$

Pisagor'u üçgene de uygulayabiliriz:

$$\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2 = \|\mathbf{Y} - \mathbf{\hat{Y}}\|^2 + \|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2$$

Hangisi daha aşina olabilir:

$$\sum_{i=1}^{n} (Y_i - \bar{Y})^2 = \sum_{i=1}^{n} (Y_i - \hat{Y}_i)^2 + \sum_{i=1}^{n} (\hat{Y}_i - \bar{Y})^2$$

Bu, karelerin toplamının ayrışması, .$SS_{\text{total}} = SS_{\text{residual}} + SS_{\text{regression}}$

Belirleme katsayısı için standart tanım:

$$R^2 = 1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}} = 1 - \frac{\sum_{i=1}^n (y_i - \hat{y}_i)^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = 1 - \frac{\|\mathbf{Y} - \mathbf{\hat{Y}}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$$

Karelerin toplamları bölündüğünde, bunun "açıklanan varyans oranı" formülasyonuna eşdeğer olduğunu göstermek için bazı basit cebirler gerekir.

$$R^2 = \frac{SS_{\text{regression}}}{SS_{\text{total}}} = \frac{\sum_{i=1}^n (\hat{y}_i - \bar{y})^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$$

$R^2 = 1 - \sin^2(\theta)$$\cos^2(\theta)$$R^2$$R$

$\mathbf{1_n}$$Y$. In that case we couldn't have drawn the triangle; the sums of squares would not have decomposed in a Pythagorean manner; $R^2$ would not have had the frequently-quoted form $SS_{\text{reg}}/SS_{\text{total}}$ nor be the square of $R$. In this situation, some software (including R) uses a different formula for $R^2$ altogether.