Basit doğrusal regresyon için örnek korelasyon ve R istatistiği denkliği

10

Genellikle örnek korelasyonunun karesinin basit doğrusal regresyon için belirleme katsayısına eşdeğer olduğu belirtilir . Bunu kendim gösteremedim ve bu gerçeğin tam bir kanıtını takdir ediyorum. $r^2$ $R^2$

regression correlation

— edwardsm88
kaynak

1

Bu kendi kendine çalışma sorusu ise, lütfen uygun etiketi ekleyin.

— Andy

Bu soru ayrıca neden olduğunu sorar .

R^{2} = r^{2}

$R^2=r^2$

— Silverfish

8

Gösterimde bazı farklılıklar var gibi görünüyor: Basit bir doğrusal regresyonda, genellikle sembolü ile "örnek korelasyon katsayısı" ifadesini gözlemlenen ve değerleri arasındaki korelasyona referans olarak gördüm . Bu cevap için benimsediğim gösterim. Ayrıca, gözlenen ile donatılmış arasındaki korelasyonu ifade etmek için kullanılan aynı cümle ve sembolü gördüm ; Cevabımda bunu "çoklu korelasyon katsayısı" olarak adlandırdım ve sembolünü kullandım . Bu cevap, belirleme katsayısının neden karesi hem de karesi olduğunu ele alır $r$ $x$ $y$ $y$ $\hat y$ $R$ $r$ $R$ , bu nedenle hangi kullanımın amaçlandığı önemli olmamalıdır.

korelasyon ve anlamıyla ilgili bazı basit gerçekler bir kez sonuç cebir tek satırda aşağıdaki Eğer kutulu denkleme aşağı atlamayı tercih edebilir, böylece kurulur. Özellikle kovaryans ve varyansın temel özelliklerini kanıtlamamız gerekmediğini varsayıyorum: $r^2$ $R$

Cov (a X + b, Y) = a Cov (X, Y)

$\text{Cov}(aX+b, Y) = a\text{Cov}(X,Y)$

Var (a X + b) = a^{2} Var (X)

$\text{Var}(aX+b) = a^2\text{Var}(X)$

Kovaryansın simetrik olduğunu ve olduğunu öğrendikten sonra, ikincisinin türetilebileceğini unutmayın . Buradan, korelasyon hakkında başka bir temel gerçek türettik. İçin , ve bu sürece, ve sıfır olmayan sapmaların olması, $\text{Var}(X)= \text{Cov}(X,X)$ $a \neq 0$ $X$ $Y$

\begin{aligned} Cor (a X + b, Y) & = \frac{Cov (a X + b, Y)}{\sqrt{Var (a X + b) Var (Y)}} \\ = \frac{a}{\sqrt{a^{2}}} \times \frac{Cov (X, Y)}{\sqrt{Var (X) Var (Y)}} \\ Cor (a X + b, Y) & = sgn (a) Cor (X, Y) \end{aligned}

$\begin{align} \text{Cor}(aX+b, Y) &= \frac{\text{Cov}(aX+b, Y)}{\sqrt{\text{Var}(aX+b) \text{Var} (Y)}} \\ &= \frac{a}{\sqrt{a^2}} \times \frac{\text{Cov}(X, Y)}{\sqrt{\text{Var}(X) \text{Var} (Y)}} \\ \text{Cor}(aX+b, Y) &= \text{sgn}(a) \, \text{Cor}(X,Y) \end{align}$

Burada bir sinyalnum veya işaret işlevi : değeri olan ise ve ise . O da doğrudur eğer , ancak bu durum endişe değil bize: sabit, yani olurdu içinde payda ve korelasyonu hesaplayamayız. Simetri bağımsız değişkenleri bu sonucu genelleştirelim, : $\text{sgn}(a)$ $\text{sgn}(a) = +1$ $a>0$ $\text{sgn}(a) = -1$ $a<0$ $\text{sgn}(a) = 0$ $a=0$ $aX+b$ $\text{Var}(aX+b) = 0$ $a, \, c \neq 0$

Cor (a X + b, c Y + d) = sgn (a) sgn (c) Cor (X, Y)

$\text{Cor}(aX+b, \, cY+d) = \text{sgn}(a) \, \text{sgn}(c) \, \text{Cor}(X,Y)$

Mevcut soruyu cevaplamak için daha genel bir formüle ihtiyacımız olmayacak, ancak durumun geometrisini vurgulamak için bunu ekliyorum: basitçe, değişkenlerden herhangi biri ölçeklendiğinde veya çevrildiğinde korelasyonun değişmediğini belirtir, ancak bir değişken olduğunda işareti tersine çevirir yansıtılır.

Bir gerçeğe daha ihtiyacımız var: sabit bir terim içeren doğrusal bir model için, belirleme katsayısı , gözlemlenen yanıtları ile modelin takılan değerleri arasındaki korelasyon olan çoklu korelasyon katsayısı karesidir . Bu hem çoklu hem de basit regresyonlar için geçerlidir, ancak dikkatimizi basit doğrusal model . Sonuç, ölçeklendirilmiş, muhtemelen yansıtılmış ve çevrilmiş bir versiyonu olduğu gözleminden kaynaklanmaktadır : $R^2$ $R$ $Y$ $\hat Y$ $\hat Y = \hat \beta_0 + \hat \beta_1 X$ $\hat Y$ $X$

R = Cor (\hat{Y}, Y) = Cor ({\hat{β}}_{0} + {\hat{β}}_{1} X, Y) = sgn ({\hat{β}}_{1}) Cor (X, Y) = sgn ({\hat{β}}_{1}) r

$\boxed{R = \text{Cor}(\hat Y, Y) = \text{Cor}(\hat \beta_0 + \hat \beta_1 X, \, Y) = \text{sgn}(\hat \beta_1) \, \text{Cor}(X, Y) = \text{sgn}(\hat \beta_1) \, r}$

Yani burada işaret tahmini eğimin işaretiyle eşleşir, bu da negatif olmamasını garanti eder . Açıkça . $R = \pm r$ $R$ $R^2 = r^2$

Önceki argüman, toplam kareleri dikkate almak zorunda kalmadan daha basit hale getirildi. Bunu başarmak için, bir ilişkisi bilgilerini atlanır normalde kare toplamı bakımından düşünmek, ve biz donatılmış ve gözlemlenen tepkiler korelasyon düşünmek için de. Semboller, ilişkisinin totolojik görünmesini sağlar, ancak durum böyle değildir ve modelde kesişme terimi yoksa ilişki bozulur! Farklı bir sorudan alınan ve arasındaki ilişki hakkında geometrik bir argümanın kısa bir taslağını vereceğim : diyagram -boyutlu konu uzayında çizilir $R^2$ $R$ $R^2 = (R)^2$ $R$ $R^2$ $n$ Böylece, her eksen (gösterilmemiştir) tek bir gözlem birimini temsil eder ve değişkenler vektörler olarak gösterilir. tasarım matrisinin sütunları , vektör (sabit terim için) ve açıklayıcı değişkenin gözlem vektörüdür, bu nedenle sütun alanı iki boyutlu bir düzdür. $\mathbf{X}$ $\mathbf{1_n}$

Çoklu regresyonun konu uzayındaki vektörler

Takılan , gözlenen nin sütun boşluğuna dikey olarak yansıtılmasıdır . Bu, kalıntılarının vektörün düz daireye dik ve dolayısıyla . Nokta ürün . sıfıra ve , böylece hem yanıtlanır hem de gözlemlenir ortalama . Diyagramdaki kesik çizgiler, ve $\mathbf{\hat{Y}}$ $\mathbf{Y}$ $\mathbf{X}$ $\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$ $\mathbf{1_n}$ $0 = \mathbf{1_n} \cdot \mathbf{e} = \sum_{i=1}^n e_i$ $Y_i = \hat{Y_i} + e_i$ $\sum_{i=1}^n Y_i = \sum_{i=1}^n \hat{Y_i}$ $\bar{Y}$ $\mathbf{Y} - \bar{Y}\mathbf{1_n}$ $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ , bu nedenle , gözlemlenen ve yerleştirilen yanıtlar için ortalanmış vektörlerdir ve aralarındaki açısının kosinüsü, korelasyonudur . $\theta$ $R$

Bu vektörlerin artık vektörü ile oluşturduğu üçgen dik açılıdır çünkü daire içinde yer alır, ancak dikeydir. Pisagor uygulama: $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ $\mathbf{e}$

‖ Y - \bar{Y} 1_{n} ‖^{2} = ‖ Y - \hat{Y} ‖^{2} + ‖ \hat{Y} - \bar{Y} 1_{n} ‖^{2}

$\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2 = \|\mathbf{Y} - \mathbf{\hat{Y}}\|^2 + \|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2$

Bu, yalnızca karelerin toplamının ayrışmasıdır, . Belirleme katsayısı için konvansiyonel formül olup bu üçgende gerçekten karesidir . Hemen veren formülüne daha aşina olabilirsiniz , ancak daha geneldir ve (daha önce gördüğümüz gibi) ya düşecektir $SS_{\text{total}} = SS_{\text{residual}} + SS_{\text{regression}}$ $1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}}$ $1 - \sin^2 \theta = \cos^2 \theta$ $R$ $R^2 = \frac{SS_{\text{regression}}}{SS_{\text{total}}}$ $\cos^2 \theta$ $1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}}$ $\frac{SS_{\text{regression}}}{SS_{\text{total}}}$ modelde sabit bir terim varsa .

— Gümüş Balık
kaynak

+1 güzel matematik ve grafik yapma çabaları için teşekkürler !!

— Haitao Du

4

olarak tanımlanan örnek korelasyon katsayısı: eşdeğerdir: e_i) (bkz. Verbeek , §2.4) $R^2$

R^{2} = \frac{\hat{V} ({\hat{y}}_{i})}{\hat{V} (y_{i})} = \frac{1 / (N - 1) \sum_{i = 1}^{N} ({\hat{y}}_{i} - \bar{y})^{2}}{1 / (N - 1) \sum_{i = 1}^{N} (y_{i} - \bar{y})^{2}} = \frac{E S S}{T S S}

$R^2=\frac{\hat{V}(\hat{y}_i)}{\hat{V}(y_i)} =\frac{1/(N-1)\sum_{i=1}^N(\hat{y}_i-\bar{y})^2}{1/(N-1)\sum_{i=1}^N(y_i-\bar{y})^2}=\frac{ESS}{TSS}$

r^{2} (y_{i}, {\hat{y}}_{i}) = \frac{{(\sum_{i = 1}^{N} (y_{i} - \bar{y}) ({\hat{y}}_{i} - \bar{y}))}^{2}}{(\sum_{i = 1}^{N} (y_{i} - \bar{y})^{2}) (\sum_{i = 1}^{N} ({\hat{y}}_{i} - \bar{y})^{2})}

$r^2(y_i,\hat{y}_i)=\frac{\left(\sum_{i=1}^N(y_i-\bar{y})(\hat{y}_i-\bar{y})\right)^2}{\left(\sum_{i=1}^N(y_i-\bar{y})^2\right)\left(\sum_{i=1}^N(\hat y_i-\bar{y})^2\right)}$

\hat{V} (y_{i}) = \hat{V} ({\hat{y}}_{i}) + \hat{V} (e_{i})

$\hat V(y_i)=\hat V(\hat y_i)+\hat V(e_i)$

— Sergio
kaynak

Daha fazla ayrıntı ekleyebilir misiniz? Bunu kanıtlamaya çalışıyordum ama hiç başarı yok ...

— Denizdeki yaşlı bir adam.