En az açı regresyonu korelasyonları monoton olarak azaltıyor ve bağlı tutuyor mu?

En az açı regresyonu (LAR) için bir problem çözmeye çalışıyorum. Bu sorunun 3,23 sayfada 97 arasında Hastie vd., İstatistiksel Öğrenme Unsurları, 2. ed. (5. baskı) .

Tüm değişkenler ve cevap ortalama sıfır ve standart sapma bir olan bir regresyon problemi düşünün. Ayrıca her değişkenin yanıtla aynı mutlak korelasyona sahip olduğunu varsayalım:

$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y} \right \rangle | = \lambda, j = 1, ..., p$

Let en küçük kareler katsayısı üzerindeki ve izin için .$\hat{\beta}$$\mathbf{y}$$\mathbf{X}$$\mathbf{u}(\alpha)=\alpha \bf{X} \hat{\beta}$$\alpha\in[0,1]$

Bunu göstermem isteniyor ve bununla ilgili sorunlar yaşıyorum. Not Bu can bu temelde her birinin korelasyon olduğunu söylüyor biz doğru ilerlerken rezidüelleri büyüklük bakımından eşit kalır .

$$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y}-u(\alpha) \right \rangle | = (1 - \alpha) \lambda, j = 1, ..., p$$ $x_j$$u$

Ayrıca korelasyonların eşit olduğunu nasıl göstereceğimizi bilmiyorum:

$\lambda(\alpha) = \frac{(1-\alpha)}{\sqrt{(1-\alpha)^2 + \frac{\alpha (2-\alpha)}{N} \cdot RSS}} \cdot \lambda$

Herhangi bir işaretçiler büyük mutluluk duyacağız!

Bu sorunun 3,23 sayfada 97 arasında Hastie vd., İstatistiksel Öğrenme Unsurları , 2. ed. (5. baskı) .

Bu sorunun anahtarı, sıradan en küçük karelerin (yani doğrusal regresyon), özellikle de takılan değerlerin ve artıkların dikgenliğinin iyi anlaşılmasıdır.

Ortogonallik lemması : Let olması , tasarım matris yanıt vektörü ve (doğru) parametreleri. Varsayarsak (biz boyunca olacak olan), OLS tahminleri tam sıralaması olan olan . Takılan değerler . Sonra . Yani, takılan değerler artıklara diktir . O zamandan beri takip ediyor$X$$n \times p$$y$$\beta$$X$$\beta$$\hat{\beta} = (X^T X)^{-1} X^T y$$\hat{y} = X (X^T X)^{-1} X^T y$$\langle \hat{y}, y-\hat{y} \rangle = \hat{y}^T (y - \hat{y}) = 0$$X^T (y - \hat{y}) = X^T y - X^T X (X^T X)^{-1} X^T y = X^T y - X^T y = 0$.

Şimdi izin ver $x_j$ öyle bir sütun vektörü olun ki $x_j$ bu $j$sütunu $X$. Varsayılan koşullar:

• $\frac{1}{N} \langle x_j, x_j \rangle = 1$ her biri için $j$, $\frac{1}{N} \langle y, y \rangle = 1$,
• $\frac{1}{N} \langle x_j, 1_p \rangle = \frac{1}{N} \langle y, 1_p \rangle = 0$ nerede $1_p$ uzunluğunu gösteren bir vektörü belirtir $p$, ve
• $\frac{1}{N} | \langle x_j, y \rangle | = \lambda$ hepsi için $j$.

Not o özellikle , son deyimi ortogonalitenin lemmasının aynıdır$\langle x_j, y - \hat{y} \rangle = 0$ hepsi için $j$.

---

Korelasyonlar bağlı

Şimdi, $u(\alpha) = \alpha X \hat{\beta} = \alpha \hat{y}$. Yani,

$$\langle x_j, y - u(a) \rangle = \langle x_j, (1-\alpha) y + \alpha y - \alpha \hat{y} \rangle = (1-\alpha) \langle x_j, y \rangle + \alpha \langle x_j, y - \hat{y} \rangle ,$$ ve sağ taraftaki ikinci terim diklik lemması tarafından sıfırdır , yani $$\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle | = (1-\alpha) \lambda ,$$ istediğiniz gibi. Korelasyonların mutlak değeri sadece $$\hat{\rho}_j(\alpha) = \frac{\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle |}{\sqrt{\frac{1}{N} \langle x_j, x_j \rangle }\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }} = \frac{(1-\alpha)\lambda}{\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }}$$

Not : Yukarıdaki sağ taraf aşağıdakilerden bağımsızdır$j$ ve pay, kovaryans ile aynıdır, çünkü tüm $x_j$ve $y$ merkezlenmiştir (bu nedenle özellikle ortalamanın çıkarılması gerekmez).

Amaç ne? Gibi$\alpha$tepki vektörü, sadece ilkinin dahil edilmesinden elde edilen ( sınırlı! ) en küçük kareler çözümüne doğru ilerleyecek şekilde değiştirilir.$p$parametreler. Bu, aynı zamanda tahmini parametreleri değiştirir, çünkü bunlar (değiştirilmiş) cevap vektörü olan öngörücülerin basit iç ürünleridir. Değişiklik özel bir biçim alır. Bu (büyüklüğünü) belirleyicileri ve modifiye edilmiş tepki (halde işlemi boyunca aynı korelasyonları tutar değeri korelasyon değişiyor). Bunun geometrik olarak ne yaptığını düşünün ve prosedürün adını anlayacaksınız!

---

(Mutlak) korelasyonun açık formu

Pay zaten gerekli biçimde olduğundan, paydadaki terime odaklanalım. Sahibiz

$$\langle y - u(\alpha), y - u(\alpha) \rangle = \langle (1-\alpha) y + \alpha y - u(\alpha), (1-\alpha) y + \alpha y - u(\alpha) \rangle .$$

İçinde değiştirme $u(\alpha) = \alpha \hat{y}$ ve iç ürünün doğrusallığını kullanarak,

$$\langle y - u(\alpha), y - u(\alpha) \rangle = (1-\alpha)^2 \langle y, y \rangle + 2\alpha(1-\alpha) \langle y, y - \hat{y} \rangle + \alpha^2 \langle y-\hat{y}, y-\hat{y} \rangle .$$

Bunu gözlemleyin

• $\langle y, y \rangle = N$ varsayımla,
• $\langle y, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y} \rangle + \langle \hat{y}, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y}\rangle$Uygulayarak diklik lemma ortasında ikinci dönem (yine); ve,
• $\langle y - \hat{y}, y - \hat{y} \rangle = \mathrm{RSS}$ tanım olarak.

Tüm bunları bir araya getirdiğimizde,

$$\hat{\rho}_j(\alpha) = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 + \frac{\alpha(2-\alpha)}{N} \mathrm{RSS}}} = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 (1 - \frac{\mathrm{RSS}}{N}) + \frac{1}{N} \mathrm{RSS}}}$$

Bir şeyleri sarmak için, $1 - \frac{\mathrm{RSS}}{N} = \frac{1}{N} (\langle y, y, \rangle - \langle y - \hat{y}, y - \hat{y} \rangle ) \geq 0$ ve böylece $\hat{\rho}_j(\alpha)$ monoton olarak azalıyor $\alpha$ ve $\hat{\rho}_j(\alpha) \downarrow 0$ gibi $\alpha \uparrow 1$.

---

Özet : Buradaki fikirlere odaklanın . Gerçekten sadece bir tane var. Ortagonalite lemma bizim için neredeyse tüm çalışır. Gerisi sadece cebir, gösterim ve bu son ikisini işe koyma yeteneğidir.