Sırt regresyonu ve PCA regresyonu arasındaki ilişki

Web'de bir yerde sırt regresyonu ( düzenlenmesi ile) ve PCA regresyonu arasında bir bağlantı okuduğumu hatırlıyorum : hiperparametre ile düzenli regresyon kullanırken , , regresyon, En küçük özdeğerli PC değişkeni. $\ell_2$ $\ell_2$ $\lambda$ $\lambda \to 0$

Bu neden doğru?
Bunun optimizasyon prosedürüyle ilgisi var mı? Saf bir şekilde, bunun OLS ile eşdeğer olmasını beklerdim.
Bunun için referansı olan var mı?

— Jose G
kaynak

İfadenizde PCA ve regresyonun nasıl bağlantılı olduğunu daha açık bir şekilde açıklayabilir misiniz? Regresyon bağımsız değişkenlerden bağımsız olarak ayrılırken, PCA'da bu tür hiçbir şey meydana gelmez. Peki PCA'yı hangi değişkenlere uyguluyorsunuz? Bu sadece bağımsız değişkenler olamaz, çünkü bunun regresyonla pek ilgisi yoktur. Ancak tüm değişkenlere uygulanırsa, özvektörler hepsinin doğrusal kombinasyonlarıdır. Muhtemelen kaldırmak için ne anlama gelebilir herhangi bağımlı değişkeni içerdiğinden, veri kümesi böyle bileşeni?

— whuber

Bağlantı (anladığım kadarıyla), eğer çok çok küçük bir düzenlenme cezası kullanırsanız, L2 düzenli bir regresyon en küçük özdeğer değerine sahip olan değişkeni kaldıracaktır. Bu nedenle, tasarım matrisinde SVD yapmak ve değişkeni en küçük özdeğerle kaldırmak, "yumuşak" bir düzenlenme cezası olan bir gerilemeye denktir ... Bu, bulduğum en yakın açıklamadır: sites.stat.psu. edu / ~ jiali / course / stat597e / notes2 / lreg.pdf

— Jose G

Referansınız yorumlarınızda söylediklerinizin tam tersini gösteriyor gibi görünüyor: küçük

λ

$\lambda$ , sonuçlarda çok az değişiklik var. Hiçbir şey kaldırılmaz. Aslında birkaç slaytlar arasındaki farkı işaret amaçlayan görünüyor

L^{2}

$L^2$ (tahminler doğru çekmiş edildiği cezalandırılmış regresyon

0

$0$ en küçük bileşenleri tamamen kaldırılmasını edildiği) ve "PCA regresyon" (- çok kötü bir şey olabilir ki bazı durumlar).

— whuber

Mmm .. başka bir referans buldu: statweb.stanford.edu/~owen/courses/305/Rudyregularization.pdf "

ve temel bileşenler" slaytta, sırt regresyonunun bu bileşenlere y büyük dj * iç çekiş *

y^{r i d g e}

$y^{ridge}$

— Jose G

Bunu fark ettiniz mi s. Bu son referansın 14'ü sorunuzu açıkça cevaplıyor mu?

— whuber

Yanıtlar:

ortalanmış prediktör matrisi olmasına izin verin ve onun tekil değer ayrışmasını düşünün , diyagonal elemanlara sahip diyagonal bir matris . $\mathbf X$ $n \times p$ $\mathbf X = \mathbf{USV}^\top$ $\mathbf S$ $s_i$

En küçük kareler edilen değeri (OLS) regresyon ile verilir Sırt regresyon edilen değeri ile verilir

{\hat{y}}_{Ö L S} = X β_{Ö L S} = X (X^{⊤} X)^{- 1} X^{⊤} y = U U^{⊤} y .

$\hat {\mathbf y}_\mathrm{OLS} = \mathbf X \beta_\mathrm{OLS} = \mathbf X (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y = \mathbf U \mathbf U^\top \mathbf y.$

PCA regresyon (PCR) ile donatılmış değerleri

bileşenleri tarafından verilmiştir

{\hat{y}}_{r ben d g e} = X β_{r ben d g e} = X (X^{⊤} X + λ ben)^{- 1} X^{⊤} y = U d ben bir g {\frac{s_{ben}^{2}}{s_{ben}^{2} + λ}} U^{⊤} y .

$\hat {\mathbf y}_\mathrm{ridge} = \mathbf X \beta_\mathrm{ridge} = \mathbf X (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y = \mathbf U\: \mathrm{diag}\left\{\frac{s_i^2}{s_i^2+\lambda}\right\}\mathbf U^\top \mathbf y.$

k

$k$

burada

olanlar ve ardından sıfır gelir.

{\hat{y}}_{P C R,} = X_{P C bir} β_{P C R,} = U d ben bir g {1, ..., 1, 0, ... 0} U^{⊤} y,

$\hat {\mathbf y}_\mathrm{PCR} = \mathbf X_\mathrm{PCA} \beta_\mathrm{PCR} = \mathbf U\: \mathrm{diag}\left\{1,\ldots, 1, 0, \ldots 0\right\}\mathbf U^\top \mathbf y,$

k

$k$

Buradan şunu görebiliriz:

Eğer sonra . $\lambda=0$ $\hat {\mathbf y}_\mathrm{ridge} = \hat {\mathbf y}_\mathrm{OLS}$
$\lambda>0$ $s_i$ $s_i^2 \approx \lambda$
$k$ $\lambda=0$ $k$ $\lambda=\infty$
Bu, sırt regresyonunun PCR'nin "yumuşak bir versiyonu" olarak görülebileceği anlamına gelir.

$s_i$ $\mathbf X$
Ridge regresyon pratikte daha iyi performans gösterme eğilimindedir (örn. Daha yüksek çapraz onaylanmış performansa sahip olmak).
$\lambda \to 0$ $\hat {\mathbf y}_\mathrm{ridge} \to \hat {\mathbf y}_\mathrm{OLS}$ $s_i$

İyi bir referans, İstatistiksel Öğrenmenin Unsurları , Bölüm 3.4.1 "Ridge regresyonu" dur.

Ayrıca şu konuya da bakınız: Regresyonda sırt düzenlenmesi ve özellikle @BrianBorchers'ın cevabı.

— amo diyor Reinstate Monica
kaynak

s_{i} -

$s_i -$

β_{L e a s t - s q u a r e s}

$\beta_{Least-squares}$

k

$k$

U diag (1_{1}, 1_{2}, . . ., 1_{k}, 0, . . ., 0) U^{T} y

$\mathbf{U} {\text{diag}}(1_1,1_2,...,1_k,0,...,0)\mathbf{U}^T\mathbf{y}$

Bu güzel.

— xxx222

İstatistiksel Öğrenmenin Unsurları bu bağlantı üzerinde büyük bir tartışmaya sahiptir.

Bu bağlantıyı ve mantığı yorumlama şeklim şu şekildedir:

PCA, yeni alan tarafından açıklanan verilerin varyansını en üst düzeye çıkarmaya çalışan Özellik Değişkenlerinin Doğrusal Birleşimidir.
Çoklu doğrusallıktan (veya veri satırlarından daha fazla yordayıcıdan) muzdarip olan veriler, tam Sıralamaya sahip olmayan bir Kovaryans Matrisine yol açar.
Bu Kovaryans Matrisi ile En Küçük Kareler çözümünü belirlemek için tersine çeviremeyiz; Bu, En Küçük Kareler Katsayılarının sayısal yaklaşımının sonsuza kadar üflenmesine neden olur.
Ridge Regresyon, LS Katsayılarının matrisin tersine çevrilmesi ve yakınsamasına izin vermek için Kovaryans Matrisi üzerindeki Lambda cezasını verir.

PCA bağlantısı, Ridge Regresyonunun çoklu bağlantının nerede meydana geldiğini belirlemek için Özelliklerin Doğrusal Kombinasyonlarını hesaplamasıdır. En küçük varyansa (ve dolayısıyla daha küçük tekil değerler ve PCA'da daha küçük özdeğerler) sahip Doğrusal Özellik Kombinasyonları (Prensip Bileşen Analizi) en zor cezalandırılanlardır.

Bu şekilde düşün; En küçük varyansı olan Özelliklerin Doğrusal Kombinasyonları için, en çok benzer olan Özellikleri bulduk, bu nedenle çoklu bağlantıya neden olduk. Ridge Özellik kümesini azaltmadığından, bu Doğrusal Kombinasyon hangi yönden bahsediyorsa, o yöne karşılık gelen orijinal Özellik en çok cezalandırılır.

— MDornbos
kaynak

doğrusal denklemini düşünün

X β = y,

$\mathbf X \beta = \mathbf y\,,$

X

$\mathbf X$

X = U S V^{T},

$\mathbf X = \mathbf U \,\mathbf S \,\mathbf V^T,$

S = diag (s_{i})

$\mathbf S = \text{diag}(s_i)$

$\beta$

β_{Ö L S} = V S^{- 1} U^{T}

$\beta_{OLS} = \mathbf V \,\mathbf S^{-1} \,\mathbf U^T$

s_{i}

$s_i$

$\mathbf S^{-1}$ $\beta$

\begin{aligned} S_{çıkıntı}^{- 1} & = diag (\frac{s_{ben}}{s_{ben}^{2} + α}), \\ β_{çıkıntı} & = V S_{çıkıntı}^{- 1} U^{T} \end{aligned}

$\begin{align} \mathbf S^{-1}_{\text{ridge}} &= \text{diag}\bigg(\frac{s_i}{s^2_i+\alpha}\bigg),\\ \beta_{\text{ridge}} &= \ \mathbf V \,\mathbf S_{\text{ridge}}^{-1} \,\mathbf U^T \end{align}$

PCA yerine $\mathbf S^{-1}$ tarafından

\begin{aligned} S_{PCA}^{- 1} & = diag (\frac{1}{s_{ben}} θ (s_{ben} - γ)), \\ β_{PCA} & = V S_{PCA}^{- 1} U^{T} \end{aligned}

$\begin{align} \mathbf S^{-1}_{\text{PCA}} &= \text{diag}\bigg(\frac{1}{s_i} \, \theta(s_i-\gamma)\bigg)\,,\\ \beta_{\text{PCA}} &= \ \mathbf V \,\mathbf S_{\text{PCA}}^{-1} \,\mathbf U^T \end{align}$ wehre

θ

$\theta$ adım işlevidir ve

γ

$\gamma$ eşik parametresidir.

Böylece her iki yöntem de küçük değerlere karşılık gelen alt uzayların etkisini zayıflatır. PCA bunu zor bir şekilde yaparken, sırt daha pürüzsüz bir yaklaşımdır.

Daha soyut olarak, kendi düzenlendirme planınızı bulmaktan çekinmeyin

S_{myReg}^{- 1} = diag (R, (s_{ben})),

$\mathbf S^{-1}_{\text{myReg}} = \text{diag}\big(R(s_i)\big)\,,$ nerede

R (x)

$R(x)$ için sıfıra yaklaşması gereken bir işlevdir

x \to 0

$x\rightarrow 0$ ve

R (x) \to x^{- 1}

$R(x)\rightarrow x^{-1}$ için

x

$x$ büyük. Ama unutma, bedava öğle yemeği yok.

— davidhigh
kaynak