Lineer regresyondaki standart katsayıları tahmin etmek için kullanılabilir mi?

Çeşitli sonuçları tahmin etmek için çoklu regresyon uyguladıkları bir makalenin sonuçlarını yorumlamaya çalışıyorum. Ancak 's ( olarak tanımlanan standartlaştırılmış katsayılar , burada bağımlı değişken ve bir öngörücüdür) bildirilen rapor edilen eşleşmiyor gibi görünüyor :$\beta$$\beta_{x_1} = B_{x_1} \cdot \frac{\mathrm{SD}_{x_1}}{\mathrm{SD}_y}$$y$$x_1$$R^2$

Rağmen 've s -0,83, -0.29, -0.16, -0.43, 0.25, ve -0.29, rapor , sadece 0.20.$\beta$$R^2$

Ayrıca, üç belirleyici: ağırlık, BMI ve% yağ çok kolleardır, cinsiyetler arasında r = 0.8-0.9 civarında korelasyon gösterir.

Mi , bunlarla değeri makul 'arasında düz bir ilişki s, ya da ler ve' ?$R^2$$\beta$$\beta$$R^2$

Ek olarak, çok doğrusal doğrusal öngörücülerle ilgili problemler , yukarıda belirtilen üç değişkenle r = 0.4 arasında korelasyon gösteren dördüncü bir öngörücünün (VO2max) beta'sını etkileyebilir mi?$\beta$

En küçük kareler regresyon geometrik yorumu gerekli bilgiler sağlar.

Bilmemiz gerekenlerin çoğu, yanıtı olan iki ve görülebilir . Standardize katsayıları, her üç vektörler (biz birlik olmaya sürebilir) ortak bir uzunluğa standardize edildiğinde ya da "betalar," ortaya çıkar. Bu nedenle, ve bir düzlemde birim vektörlerdir --they birim çember üzerinde yer - ve , üç boyutlu bir Öklid alan bir birim vektör uçağa ihtiva etmektedir. Takılan değer , üzerine dik (dikey) projeksiyonudur . Çünkü$x_1$$x_2$$y$$x_1$$x_2$$E^2$$y$$E^3$$\hat y$$y$$E^2$$R^2$sadece y'ın kare uzunluğu, üç boyutu bile görselleştirmemize gerek yok: İhtiyacımız olan tüm bilgiler bu düzlemde çizilebilir.$\hat y$

Dik regresörler

En güzel durum, ilk şekilde olduğu gibi regresörlerin dikey olması.

Bu ve diğer şekillerde birim diski sürekli olarak beyaza ve regresörleri siyah oklar olarak çizeceğim. her zaman doğrudan sağa işaret edecektir. Kalın kırmızı oklar bileşenlerini tasvir de ve gibidir: yönleri ve . Uzunluğu ama unutmayın - bu uzandığı gri dairenin yarıçapıdır olduğu$x_1$$\hat y$$x_1$$x_2$$\beta_1 x_1$$\beta_2 x_2$$\hat y$$R^2$ kare bu uzunluktaki.

Pisagor Teoremi iddia

$$R^2 = |\hat y|^2 = |\beta_1 x_1|^2 + |\beta_2 x_2|^2 = \beta_1^2(1)+\beta_2^2(1) = \beta_1^2 + \beta_2^2.$$

Pisagor Teoremi herhangi bir sayıda boyuta sahip olduğu için, bu akıl yürütme, herhangi bir sayıda regresöre genelleme yaparak ilk sonucumuzu verir:

Regresörler dikey olduğunda, betaların karelerinin toplamına eşittir.$R^2$

Acil bir sonuç, sadece bir regresör - tek değişkenli regresyon olduğunda - standart eğimin karesidir.$R^2$

korele

Negatif korelasyonlu regresörler dik açıdan daha büyük açılarda buluşur.

Bu görüntüde, betaların karelerinin toplamının kesinlikle daha büyük olduğu açıkça görülüyor. $R^2$. Bu, Kosinüs Yasası kullanılarak veya Normal Denklemlerin matris çözümü ile çalışılarak cebirsel olarak kanıtlanabilir.

İki regressörü neredeyse paralel hale getirerek, $\hat y$ menşe yakın (bir $R^2$ yakın $0$) büyük bileşenlere sahip olmaya devam ederken, $x_1$ ve $x_2$Yön. Bu nedenle, ne kadar küçük olduğuna dair bir sınır yoktur.$R^2$ olabilir.

Bu açık sonucu, ikinci genelliğimizi anlatalım:

Regresörler ilişkili olduğunda, $R^2$ betaların karelerinin toplamından keyfi olarak daha küçük olabilir.

Bununla birlikte, bir sonraki rakamın gösterdiği gibi, bu evrensel bir ilişki değildir.

şimdi $R^2$betaların karelerinin toplamını kesinlikle aşıyor. İki gerilimi birbirine yakın tutarak ve$\hat y$ aralarında betaların her ikisine de yaklaşabiliriz $1/2$, hatta $R^2$ yakın $1$. Daha fazla analiz biraz cebir gerektirebilir: Bunu aşağıda ele alıyorum.

Akut açılarda buluşan pozitif korelasyonlu regresörler ile benzer örnekler inşa etmeyi hayal gücünüze bırakıyorum.

Bu sonuçların eksik olduğuna dikkat edin: Ne kadar az $R^2$betaların karelerinin toplamı ile karşılaştırılabilir. Özellikle, olasılıkları dikkatle inceleyerek, (iki regresörle gerileme için)

Regresörler pozitif korelasyon gösterdiğinde ve betaların ortak bir işareti olduğunda veya regresörler negatif korelasyonu olduğunda ve betaların farklı işaretleri olduğunda, $R^2$ en azından betaların karelerinin toplamı kadar büyük olmalıdır.

---

Cebirsel sonuçlar

Genel olarak, regresörler olsun (sütun vektörleri) $x_1, x_2, \ldots, x_p$ ve cevap $y$. Standartlaştırma araçları (a) her biri vektöre diktir$(1,1,\ldots,1)^\prime$ ve (b) birim uzunlukları varsa:

$$|x_i|^2 = |y|^2 = 1.$$

Sütun vektörlerini birleştirme $x_i$ Içine $n\times p$ matris $X$. Matris çarpımının kuralları,

$$\Sigma = X^\prime X$$

korelasyon matrisi $x_i$. Betalar Normal Denklemler tarafından verilir,

$$\beta = (X^\prime X)^{-1} X^\prime y = \Sigma^{-1} (X^\prime y).$$

Dahası, tanım gereği, uyum

$$\hat y = X \beta = X (\Sigma ^{-1} X^\prime y).$$

Kare uzunluğu verir $R^2$ tanım olarak:

$$R^2 = |\hat y|^2 = \hat y^\prime \hat y = (X\beta)^\prime (X\beta) = \beta^\prime (X^\prime X)\beta = \beta^\prime \Sigma\beta.$$

Geometrik analiz, ilgili eşitsizlikleri aramamızı önerdi. $R^2$ ve betaların karelerinin toplamı,

$$\sum_{i=1}^p \beta_i^2 = \beta^\prime \beta.$$

$L_2$ herhangi bir matrisin normu $A$ katsayılarının karelerinin toplamı ile verilir (temel olarak matrisin bir vektörü olarak ele alınması $p^2$ Öklid uzayındaki bileşenler),

$$|A|_2^2 = \sum_{i,j} a_{ij}^2 = \operatorname{tr}(A^\prime A) = \operatorname{tr}(AA^\prime).$$

Cauchy-Schwarz Eşitsizliği,

$$R^2 = \operatorname{tr}(R^2) = \operatorname{tr}(\beta^\prime \Sigma \beta) = \operatorname{tr}(\Sigma \beta \beta^\prime) \le |\Sigma|_2 | \beta\beta^\prime|_2 = |\Sigma|_2 \beta^\prime \beta.$$

Kare korelasyon katsayıları geçilemediğinden $1$ ve sadece $p^2$ bunlardan $p\times p$ matris $\Sigma$, $|\Sigma|_2$ Aşamaz $\sqrt{1\times p^2} = p$. bu nedenle

$$R^2 \le p\, \beta^\prime \beta.$$

Eşitsizlik, örneğin, $x_i$ mükemmel pozitif ilişkilidir.

Ne kadar büyük bir üst sınır var $R^2$olabilir. Regresör başına ortalama değeri,$R^2/p$, standart katsayıların karelerinin toplamını aşamaz.

---

Sonuçlar

Genel olarak ne sonuçlandırabiliriz? Açıkça, hakkındaki bilgiler korelasyon yapısı regresörler yanı sıra betalarının işaretleri olası değerlerini bağlı ya kullanılabilecek$R^2$hatta tam olarak hesaplamak için. Tam bilgi olmadığında, regresörler doğrusal olarak bağımsız olduğunda, tek bir sıfır olmayan beta'nın ima ettiği gerçeğinin ötesinde çok az şey söylenebilir.$\hat y$ sıfırdan farklı, $R^2$ sıfır değildir.

Sorudaki çıktıdan kesinlikle sonuca varabileceğimiz bir şey, verilerin ilişkili olduğudur: çünkü betaların karelerinin toplamı, $1.1301$, mümkün olan maksimum değeri aşıyor $R^2$ (yani $1$), bazı korelasyonlar olmalıdır .

Başka bir şey, en büyük beta (boyut olarak) $-0.83$, karesi olan $0.69$- rapor edilenin çok üzerinde $R^2$ nın-nin $0.20$- bazı regresörlerin negatif korelasyonlu olması gerektiği sonucuna varabiliriz . (Aslında,$\text{VO}_{2\,\text{max}}$ muhtemelen, geniş bir değer aralığını kapsayan herhangi bir örnekte yaş, ağırlık ve yağ ile güçlü bir şekilde negatif ilişkilidir.)

Sadece iki regresör olsaydı, $R^2$ yüksek regresör korelasyonları ve betaların incelenmesi bilgisinden, çünkü bu nasıl yapılacağına dair doğru bir çizim yapmamızı sağlayacaktır. $x_1$, $x_2$, ve $\hat y$yerleştirilmelidir. Ne yazık ki, bu altı değişkenli problemdeki ek regresörler işleri önemli ölçüde karmaşıklaştırmaktadır. Değişkenlerden herhangi ikisini analiz ederken, diğer dört regresörü ("ortak değişkenler") "çıkarmamız" veya "kontrol etmemiz" gerekir. Böylece,$x_1$, $x_2$, ve $y$bilinmeyen miktarlarda (bunların üçünün ortak değişkenlerle nasıl ilişkili olduğuna bağlı olarak), birlikte çalıştığımız vektörlerin gerçek boyutları hakkında neredeyse hiçbir şey bilmemize izin verir .