olduğunda "birim varyans" ridge regresyon tahmincisi sınırı

Çıkıntı regresyonunu, nin birim kareler toplamına sahip olmasını gerektiren ek bir kısıtlama ile düşünün (eşdeğerde birim sapma); Gerekirse, kişi birim toplamı da olduğu varsayılabilir : $\hat{\mathbf y}$ $\mathbf y$

{\hat{β}}_{λ}^{*} = \arg min {‖ y - X β ‖^{2} + λ ‖ β ‖^{2}} s.t. ‖ X β ‖^{2} = 1.

$\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1.$

$\hat{\boldsymbol\beta}_\lambda^*$ ne zaman sınırı nedir $\lambda\to\infty$ ?

İşte doğru olduğuna inandığım bazı ifadeler:

Tüm $\lambda=0$ , düzgün bir açık çözüm vardır: OLS tahmin almak $\hat{\boldsymbol\beta}_0=(\mathbf X^\top \mathbf X)^{-1}\mathbf X^\top \mathbf y$ ve kısıtlamayı karşılamak için normalleştirin (bunu bir Lagrange çarpanı ekleyerek ve farklılaştırarak görebilirsiniz):
${\hat{β}}_{0}^{*} = {\hat{β}}_{0} / ‖ X {\hat{β}}_{0} ‖ .$ $\hat{\boldsymbol\beta}_0^* = \hat{\boldsymbol\beta}_0 \big/ \|\mathbf X\hat{\boldsymbol\beta}_0\|.$
Genel olarak çözüm
${\hat{β}}_{λ}^{*} = ((1 + μ) X^{⊤} X + λ I)^{- 1} X^{⊤} y with μ needed to satisfy the constraint .$ $\hat{\boldsymbol\beta}_\lambda^*=\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}\mathbf X^\top \mathbf y\:\:\text{with $\mu$ needed to satisfy the constraint}.$ olduğunda kapalı bir form çözümü göremiyorum . Çözümün, kısıtlamayı karşılamak için normalize edilmiş bazı ile normal RR tahmincisine eşdeğer olduğu görülüyor , ancak için kapalı bir formül göremiyorum . $\lambda >0$ $\lambda^*$ $\lambda^*$
Tüm $\lambda\to \infty$ normalden RR tahmin
${\hat{β}}_{λ} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y$ $\hat{\boldsymbol\beta}_\lambda=(\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1}\mathbf X^\top \mathbf y$ açıkça sıfıra yakınsayar, ancak yönü , aka ilk kısmi en küçük kareler (PLS) bileşeninin $\hat{\boldsymbol\beta}_\lambda \big/ \|\hat{\boldsymbol\beta}_\lambda\|$ yönüne yaklaşır . $\mathbf X^\top \mathbf y$

(2) ve (3) ifadeleri birlikte, belki de $\hat{\boldsymbol\beta}_\lambda^*$ nın uygun şekilde normalize edilmiş yakınlaştığını da düşündürmektedir $\mathbf X^\top \mathbf y$ , ancak bundan emin değilim. doğrudur ve kendimi ikna etmeyi de başaramadım.

— amip Reinstate Monica diyor
kaynak

Yanıtlar:

Geometrik bir yorum

Soruda tanımlanan tahmin edici, aşağıdaki optimizasyon probleminin eşdeğeri olan Lagrange çarpanıdır:

minimize f (β) subject to g (β) \leq t and h (β) = 1

$\text{minimize $f(\beta)$ subject to $g(\beta) \leq t$ and $h(\beta) = 1$ }$

\begin{aligned} f (β) & = ‖ y - X β ‖^{2} \\ g (β) & = ‖ β ‖^{2} \\ h (β) & = ‖ X β ‖^{2} \end{aligned}

$\begin{align} f(\beta) &= \lVert y-X\beta \lVert^2 \\ g(\beta) &= \lVert \beta \lVert^2\\ h(\beta) &= \lVert X\beta \lVert^2 \end{align}$

bu, ve elipsoid kesişimine dokunan en küçük elipsoidi bulmak olarak görülebilir. $f(\beta)=\text{RSS }$ $g(\beta) = t$ $h(\beta)=1$

Standart sırt regresyon görünümünün karşılaştırılması

Geometrik görünüm açısından bu, bir sferoidin (hataların) ve kürenin ( ) temas ettiği noktanın eski görünümünü (standart sırt regresyonu için) değiştirir . Biz noktası aramaya yeni görünümüne sfero (hataları) bir eğri (tarafından kısıtlanmış beta normunu dokunur ) . Bir küre (soldaki resimde mavi), sınırlamasıyla kesiştiği için daha düşük bir boyut şekline dönüşür . $\|\beta\|^2=t$ $\|X\beta\|^2=1$ $\|X\beta\|=1$

İki boyutlu durumda bu görüntülemek kolaydır.

parametresini ayarladığımızda mavi / kırmızı kürelerin göreceli uzunluğunu veya ve göreceli boyutlarını değiştiririz (Lagrangian çarpanları teorisinde muhtemelen resmen doğru ve düzgün bir yol vardır. tam olarak her biri için o demek olduğunu açıklamak fonksiyonu olarak veya ters bir monoton fonksiyonudur. Ama biz azalttıklarını kare artıkların toplamı yalnızca arttığını sezgisel görebilirsiniz hayal .) $t$ $f(\beta)$ $g(\beta)$ $t$ $\lambda$ $||\beta||$

için çözümü , 0 ile arasındaki bir satırda iddia ettiğiniz gibi $\beta_\lambda$ $\lambda=0$ $\beta_{LS}$

için çözümü (aslında sizin belirttiğiniz gibi) ilk ana bileşenin yüklerindedir. Bu burada nokta için en küçük . elips dairesine tek bir noktayla temas ediyor . $\beta_\lambda$ $\lambda \to \infty$ $\lVert \beta \rVert^2$ $\lVert \beta X \rVert^2 = 1$ $\lVert \beta \rVert^2=t$ $|X\beta|=1$

Bu 2-b görünümünde, ve spheroid küresinin kesişme kenarları puandır. Birden fazla boyutta bunlar eğriler olacaktır $\lVert \beta \rVert^2 =t$ $\lVert \beta X \rVert^2 = 1$

(Bunları eğriler elips olurdu ama onlar daha karmaşıktır ilk hayal etti. Sen elipsoid düşünebiliriz top kesişen ediliyor gibi bazı bir tür elipsoid frustum (basit elips olmayan kenarlara sahip) $\lVert X \beta \rVert^2 = 1$ $\lVert \beta \rVert^2 \leq t$

limitiyle ilgili olarak $\lambda \to \infty$

İlk başta (önceki düzenlemeler) Yukarıda tüm çözümlerin aynı olduğu bazı sınırlayıcı olacağını yazdım (ve bunlar noktasında bulunurlar ). Ama bu değil durum $\lambda_{lim}$ $\beta^*_\infty$

Optimizasyonu LARS algoritması veya degrade iniş olarak kabul edin. Herhangi bir puan için , değiştirebileceğimiz bir yön varsa, ceza terimini SSR terimi azalacak şekilde düşürürse, o zaman minimumda olmazsınız . $\beta$ $\beta$ $|\beta|^2$ $|y-X\beta|^2$

Gelen Normal sırt regresyon için (her yöne) sıfır eğime sahip noktasında . Bu nedenle, tüm sonlu için çözüm olamaz (çünkü cezayı artırmadan kare artıklarının toplamını azaltmak için sonsuz bir adım yapılabilir). $|\beta|^2$ $\beta=0$ $\lambda$ $\beta = 0$
LASSO için bu aynı değildir : ceza (yani sıfır eğimle ikinci dereceden değildir). LASSO bazı sınırlayıcı bir değere sahip olduğunu yüzünden (çarpı ceza terimi, çünkü bunların her şeyden önce çözeltiler sıfır ) kareler kalıntı toplamı azalır daha artar. $\lvert \beta \rvert_1$ $\lambda_{lim}$ $\lambda$
Kısıtlı sırt için, normal sırt regresyonuyla aynı olur. Eğer değiştirirseniz başlayarak sonra bu değişim olacak dik için ( elips yüzeyine diktir ) ve , ceza süresini değiştirmeden ancak kare artıklarının toplamını azaltmadan sonsuz bir adımla değiştirilebilir. Böylece herhangi bir sonlu için noktası çözüm olamaz. $\beta$ $\beta^*_\infty$ $\beta$ $\beta^*_\infty$ $|X\beta|=1$ $\beta$ $\lambda$ $\beta^*_\infty$

sınırı ile ilgili diğer notlar $\lambda \to \infty$

sonsuza kadar olan normal sırt regresyon limiti , sınırlanmış sırt regresyonundaki farklı bir noktaya karşılık gelir. Bu 'eski' sınır, -1'e eşit olduğu noktaya karşılık gelir . Sonra normalleştirilmiş problemde Lagrange fonksiyonunun türevi $\lambda$ $\mu$

$2 (1 + μ) X^{T} X β + 2 X^{T} y + 2 λ β$ $2 (1+\mu) X^{T}X \beta + 2 X^T y + 2 \lambda \beta$ , standart problemde Lagrange işlevinin türevi için bir çözüme karşılık gelir

$2 X^{T} X β^{'} + 2 X^{T} y + 2 \frac{λ}{(1 + μ)} β^{'} with β^{'} = (1 + μ) β$ $2 X^{T}X \beta^\prime + 2 X^T y + 2 \frac{\lambda}{(1+\mu)} \beta^\prime \qquad \text{with $\beta^\prime = (1+\mu)\beta$}$

StackExchangeStrike tarafından yazıldı.

— Sextus Empiricus
kaynak

+1. Çok teşekkürler, bu süper yararlı! Bunu düşünmek için biraz zamana ihtiyacım olacak.

— amip diyor Reinstate Monica,

Kırmızı ve siyah elipsoidlerin aynı şekle sahip olduğuna dikkat etmek önemlidir: bu yüzden dokundukları nokta merkezlerini birbirine bağlayan çizgide uzanır. Sorumu # 1 noktası güzel grafik kanıtı.

— amip diyor Reinstate Monica

Çiziminizde siyah elips üzerinde uzanacak şekilde normalize edilmiş, sonsuz lambdalı sırt tahminleyicisine tekabül eden betanın nerede olduğunu anlamaya çalışıyorum. Sanırım ve (gösterimimi kullanarak) - çiziminizde siyah açık daireler ile işaretlenmiş iki nokta arasında bir yerde . Eğer sırt regresyonu yapar ve çözümü normalleştirirsek ve lambda'yı 0'dan sonsuza kadar artırırsak, muhtemelen bizi aynı yay boyunca alır, ama PC1'e kadar tüm yol boyunca değil . Bunun yerine, kısıtını açıkça belirtmek, çözümleri PC1'e kadar tamamen ilerletir.

β_{0}^{*}

$\beta_0^*$

β_{\infty}^{*}

$\beta_\infty^*$

‖ X β ‖ = 1

$\|X\beta\|=1$

— amip diyor Reinstate Monica

+5 (Cevabınıza mutlulukla ödeyeceğim bir ödül kazandım). Ben de kendi cevabımı gönderdim çünkü bazı cebirsel türevler yaptım ve soruya eklemek için çok fazla oldu. Sonlu ın var olacağına ve sonrasında çözümün artık değişmeyeceğine ve PC1 tarafından verileceğine karar vermenize ikna olmadım . Cebirsel olarak görmüyorum ve neden olması gerektiği konusundaki argümanınızı tam olarak anlamadım. Çözmeye çalışalım.

λ_{lim}

$\lambda_\text{lim}$

— amip diyor Reinstate Monica

@ amoeba, sonlu olmadığı konusunda haklıydınız . Çok fazla sezgisel bir şekilde tartıştım ve düzenli sırt regresyonu için belirli bir koşuldan kısıtlı sırt regresyonuna hızla sıçradım. Normal RR, noktasındaki için sıfır eğime (her yönden) sahiptir . ( beri ) bunu sınırlı regresyon ile elde edemediğinizi düşündüm . Ancak, elipsoid ile sınırlı olduğundan ' ' işlemini her yöne taşıyamazsınız .

λ_{lim}

$\lambda_{\lim}$

| β |^{2}

$|\beta|^2$

β = 0

$\beta = 0$

β_{\infty}^{*} \neq 0

$\beta^*_\infty \neq 0$

β

$\beta$

| X β | = 1

$|X\beta| =1$

β

$\beta$

— Sextus Empiricus

Bu, @ Martijn'in güzel geometrik cevabının cebirsel bir karşılığıdır.

Öncelikle, olduğunda ise çok elde edilmesi basit: limitte, kayıp fonksiyonundaki ilk terim ihmal edilebilir hale gelir ve bu nedenle göz ardı edilebilir. Optimizasyon sorunu ilk ana bileşenidir

{\hat{β}}_{λ}^{*} = \arg min {‖ y - X β ‖^{2} + λ ‖ β ‖^{2}} s.t. ‖ X β ‖^{2} = 1

$\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1$

λ \to \infty

$\lambda\to\infty$

lim_{λ \to \infty} {\hat{β}}_{λ}^{*} = {\hat{β}}_{\infty}^{*} = \underset{‖ X β ‖^{2} = 1}{a r g m i n} ‖ β ‖^{2} \sim \underset{‖ β ‖^{2} = 1}{a r g m a x} ‖ X β ‖^{2},

$\lim_{\lambda\to\infty}\hat{\boldsymbol\beta}_\lambda^* = \hat{\boldsymbol\beta}_\infty^* = \operatorname*{arg\,min}_{\|\mathbf X \boldsymbol\beta\|^2=1}\|\boldsymbol\beta\|^2 \sim \operatorname*{arg\,max}_{\| \boldsymbol\beta\|^2=1}\|\mathbf X\boldsymbol\beta\|^2,$

X

$\mathbf X$ (uygun şekilde ölçeklendirilmiş). Bu soruya cevap verir.

Şimdi , sorumun 2 numaralı noktasında bahsettiğim herhangi bir değerinin çözümünü düşünelim . Kayıp fonksiyonuna Lagrange çarpanı ekleyerek ve farklılaştırarak $\lambda$ $\mu(\|\mathbf X\boldsymbol\beta\|^2-1)$

{\hat{β}}_{λ}^{*} = ((1 + μ) X^{⊤} X + λ I)^{- 1} X^{⊤} y with μ needed to satisfy the constraint .

$\hat{\boldsymbol\beta}_\lambda^*=\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}\mathbf X^\top \mathbf y\:\:\text{with $\mu$ needed to satisfy the constraint}.$

sıfırdan sonsuza büyüdüğünde bu çözüm nasıl davranır ? $\lambda$

Tüm , OLS çözelti bir ölçekli bir sürümünü elde: $\lambda=0$
${\hat{β}}_{0}^{*} \sim {\hat{β}}_{0} .$ $\hat{\boldsymbol\beta}_0^* \sim \hat{\boldsymbol\beta}_0.$
pozitif ama küçük değerleri için , çözüm bazı çıkıntı tahmincisinin ölçekli bir sürümüdür: $\lambda$
${\hat{β}}_{λ}^{*} \sim {\hat{β}}_{λ^{*}} .$ $\hat{\boldsymbol\beta}_\lambda^* \sim \hat{\boldsymbol\beta}_{\lambda^*}.$
Ne zaman, Değeri kısıtlamasını karşılamak üzere gerekli olan . Bu, çözümün ilk PLS bileşeninin ölçekli bir sürümü olduğu anlamına gelir (bu , karşılık gelen çıkıntı tahmincisinin değeri ): $\lambda=\|\mathbf X\mathbf X^\top \mathbf y\|$ $(1+\mu)$ $0$ $\lambda^*$ $\infty$
${\hat{β}}_{‖ X X^{⊤} y ‖}^{*} \sim X^{⊤} y .$ $\hat{\boldsymbol\beta}_{\|\mathbf X\mathbf X^\top \mathbf y\|}^* \sim \mathbf X^\top \mathbf y.$
Tüm daha büyük olduğu, gerekli terimi negatif olur. Bundan böyle, çözüm negatif regülasyon parametresi ( negatif çıkıntı ) ile sahte sırt tahmin edicisinin ölçekli bir versiyonudur . Yönleri açısından, şimdi sonsuz lambda ile sırt regresyon geçmişte kaldı . $\lambda$ $(1+\mu)$
Tüm terimi sıfır (ya da farklılaşmaya gider sonsuz) sürece burada en tekil değer . Bu, sonlu hale getirecek ve ilk ana eksen ile orantılı olacaktır . sağlamak için gerekir. Böylece, $\lambda\to\infty$ $\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}$ $\mu = -\lambda/ s^2_\mathrm{max} + \alpha$ $s_\mathrm{max}$ $\mathbf X=\mathbf{USV}^\top$ $\hat{\boldsymbol\beta}_\lambda^*$ $\mathbf V_1$ $\mu = -\lambda/ s^2_\mathrm{max} + \mathbf U_1^\top \mathbf y -1$
${\hat{β}}_{\infty}^{*} \sim V_{1} .$ $\hat{\boldsymbol\beta}_\infty^* \sim \mathbf V_1.$

Genel olarak, bu kısıtlı simge durumuna küçültme probleminin, aşağıdaki spektrumdaki OLS, RR, PLS ve PCA'nın birim varyans versiyonlarını kapsadığını görüyoruz:

OLS \to RR \to PLS \to negative RR \to PCA

$\boxed{\text{OLS} \to \text{RR} \to \text{PLS} \to \text{negative RR} \to \text{PCA}}$

Bu, "süreklilik regresyonu" olarak adlandırılan gizli (?) Bir kemometri çerçevesine eşdeğer gibi görünüyor ( özellikle https://scholar.google.de/scholar?q="continuum+regression , bkz. Stone & Brooks 1990, Sundberg 1993, maksimize aynı birleşmesini sağlar Björkström ve Sundberg 1999, vs.), bir geçici bir kriterBu tabii ki ölçekli verimleri En Küçük Kareler zaman , PLS zaman , PCA zaman ve için ölçekli RR vermek üzere gösterilebilir

T = {corr}^{2} (y, X β) \cdot {Var}^{γ} (X β) s.t. ‖ β ‖ = 1.

$\mathcal T = \operatorname{corr}^2(\mathbf y, \mathbf X \boldsymbol\beta)\cdot \operatorname{Var}^\gamma(\mathbf X\boldsymbol\beta) \;\;\text{s.t.}\;\;\|\boldsymbol\beta\|=1.$

γ = 0

$\gamma=0$

γ = 1

$\gamma=1$

γ \to \infty

$\gamma\to\infty$

0 < γ < 1

$0<\gamma<1$

1 < γ < \infty

$1<\gamma<\infty$ , Sundberg 1993'e bakınız.

RR / PLS / PCA / etc ile ilgili biraz tecrübe olmasına rağmen, daha önce "süreklilik regresyonu" hakkında hiç bir şey duymadığımı itiraf etmeliyim. Ayrıca bu terimi sevmediğimi de söylemeliyim.

@ Martijn'inkilere dayanarak yaptığım şematik:

Güncelleme: Şekil, negatif sırt yolu ile güncellendi, @Martijn'e nasıl görünmesi gerektiğini önerdiği için teşekkür ederiz. Daha fazla ayrıntı için Negatif sırt regresyonunu anlama bölümündeki cevabımı görün .

— amip Reinstate Monica diyor
kaynak

"Süreklilik regresyonu", PLS ve PCA'yı ortak bir çerçevede birleştirmeyi amaçlayan şaşırtıcı derecede geniş bir teknik kategorisinden biri gibi görünmektedir. Olumsuz bir sırt araştırmasına kadar (bu arada, bağlantı kurduğunuz olumsuz sırt sorusunun ilk yorumunda Bjorkstron ve Sundberg, 1999’a bir link verdim), bu arada, hiç duymamıştım. kemometrik literatür. Diğer istatistik alanlarından izole edilmiş görünüşte gelişmesinin tarihsel bir nedeni olmalı. (1/3)

— Ryan Simmons

Okumak isteyebileceğiniz bir makale de Jong ve ark. (2001) . Onların "kanonik PLS" formülasyonları, sizinkine eşdeğer olacak hızlı bir bakışta gözükse de, matematiği henüz sıkı bir şekilde karşılaştırmadığımı itiraf ettim (aynı damardaki diğer bazı PLS-PCA genellemelerinin bir incelemesini de sağlarlar). Ancak, sorunu nasıl açıkladıklarını görmek anlayışlı olabilir. (2/3)

— Ryan Simmons

Bağlantının ölmesi durumunda, tam alıntı: Sijmen de Jong, Barry M. Wise, N. Lawrence Ricker. "Kanonik kısmi en küçük kareler ve sürekli güç regresyon." Chemometrics Dergisi, 2001; 15: 85-100. doi.org/10.1002/… (3/3)

— Ryan Simmons

ah, tamam, sonra ve sonsuzluğa gider ancak oranları kalır . Her durumda, negatif çıkıntı regresyon yolu, PLS ve PCA vektörleri arasındaki (negatif) sektörde olmalıdır; öyle ki elips üzerine çıkıntılarıPLS ve PCA noktaları arasındadır. (Sonsuzluğa giden norm da sonsuzluğa gittiği için anlamlıdır , bu yüzden yol sağ altta devam eder, başlangıçta teğet, negatif, PLS ve sonunda PCA'ya teğet olur)

λ^{*}

$\lambda^*$

1 + μ^{*}

$1+\mu^*$

\pm

$\pm$

s_{m a x}^{2}

$s_{max}^2$

| X β = 1 |

$|X\beta=1|$

μ

$\mu$

— Sextus Empiricus

Görselleştirmeye eklerdi. Geçerli üç RR yol noktasının (dairenin ve elipsoid dokunuşunun) sağa doğru devam ettiğini ve sonunda sonsuzda, daire ve ellipsoid gerektiği de 'dokunma' yönünde bir noktaya nerede daire dokunuyor elipsoid

| β |^{2} = t_{\infty}

$|\beta|^2=t_{\infty}$

| X (β - \hat{β}) |^{2} = R S S

$|X (\beta - \hat\beta)|^2 =RSS$

| β |^{2} = t_{p c a}

$|\beta|^2=t_{pca}$

| X β |^{2} = 1

$|X \beta|^2 =1$

— Sekstus Empirikus

olduğunda "birim varyans" ridge regresyon tahmincisi sınırı

Geometrik bir yorum

Standart sırt regresyon görünümünün karşılaştırılması

limitiyle ilgili olarakλ→∞λ→∞\lambda \to \infty

sınırı ile ilgili diğer notlarλ→∞λ→∞\lambda \to \infty

limitiyle ilgili olarak $\lambda \to \infty$

sınırı ile ilgili diğer notlar $\lambda \to \infty$