Kementte 0 bileşen veren en küçük

Kement tahminini burada tasarım matrisinin satırı bir vektördür stokastik cevabı açıklamak için ortak değişkenler ( ).

{\hat{β}}^{λ} = \arg min_{β \in R^{p}} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1},

$\hat\beta^\lambda = \arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1,$

i^{t h}

$i^{th}$

x_{i} \in R^{p}

$x_i \in \mathbb{R}^p$

X \in R^{n \times p}

$X \in \mathbb{R}^{n \times p}$

y_{i}

$y_i$

i = 1, \dots n

$i=1, \dots n$

$\lambda \geq \frac{1}{n} \|X^T y\|_\infty$ , kement tahmini olduğunu biliyoruz $\hat\beta^\lambda = 0$ . (Bkz., Örneğin, Kement ve Ridge ayarlama parametresi kapsamı .) Diğer gösterimlerde bu, $\lambda_\max = \frac{1}{n} \|X^T y\|_\infty$ . olduğuna dikkat edin $\lambda_\mathrm{max} = \sup_{\hat\beta^\lambda \ne 0} \lambda.$ Bunu, kement çözüm yolunu gösteren aşağıdaki görüntü ile görsel olarak görebiliriz:

Bildirim o kadar arsa sağ tarafında, katsayılarının hepsi sıfır. Bu , yukarıda açıklanan noktasında gerçekleşir $\lambda_\mathrm{max}$ .

Bu çiziminden, biz de ihbar üzerine o kadar sol tarafında, katsayı tüm sıfırdan farklı şunlardır: değeri nedir herhangi bileşeni hangi başlangıçta sıfırdır? Yani, ve bir fonksiyonu olarak nedir? Kapalı bir form çözümüyle ilgileniyorum. Özellikle, örneğin, LARS'ın düğümü hesaplama yoluyla bulabileceğini düşündüren algoritmik bir çözümle ilgilenmiyorum. $\lambda$ $\hat\beta^\lambda$

λ_{min} = min_{\exists j s . t . {\hat{β}}_{j} = 0} λ

$\lambda_\textrm{min} = \min_{\exists j \, \mathrm{ s.t. } \, \hat\beta_j = 0} \lambda$

X

$X$

y

$y$

İlgi rağmen, kapalı formda bulunmayabilir gibi görünüyor , çünkü aksi takdirde, kement hesaplama paketleri çapraz doğrulama sırasında ayarlama parametresi derinliğini belirlerken muhtemelen bundan yararlanacaktır. Bunun ışığında, ve (hala) özellikle kapalı bir formla ilgili olarak teorik olarak gösterilebilecek herhangi bir şeyle ilgileniyorum. $\lambda_\mathrm{min}$ $\lambda_\mathrm{min}$

lasso regularization

— user795305
kaynak

Bu glmnet gazetesinde belirtilmiş ve kanıtlanmıştır: web.stanford.edu/~hastie/Papers/glmnet.pdf

— Matthew Drury

@MatthewDrury Bunu paylaştığınız için teşekkürler! Ancak, bu makale önerdiklerini paylaşmıyor gibi görünüyor. Özellikle, bildirimde benim o onların .

λ_{max}

$\lambda_\max$

λ_{min}

$\lambda_\min$

— user795305

[Tuning-parametre] etiketine ihtiyacımız olduğundan emin misiniz?

— amip, Reinstate Monica

bir hak, genel olarak kement çözümü için kapalı bir form yoktur (bkz. stats.stackexchange.com/questions/174003/… ). ancak, lars en azından ne olup bittiğini ve hangi koşullar altında / hangi zamanda bir değişken ekleyebileceğinizi / silebileceğinizi söyler. bence böyle bir şey alabileceğiniz en iyi şey.

— chRrr

@chRrr Söylemenin tamamen adil olduğundan emin değilim: için olduğunu biliyoruz . Yani, çözümün 0 olması durumunda, kapalı bir formumuz var. Kement tahmininin yoğun olması (yani sıfır yok) gibi aşırı bir durumda benzer olup olmadığını soruyorum. Gerçekten, --- ' nın tam girişleriyle bile ilgilenmiyorum, sadece sıfır olsun ya da olmasın.

{\hat{β}}^{λ} = 0

$\hat\beta^\lambda = 0$

λ \geq \frac{1}{n} ‖ X^{t} y ‖_{\infty}

$\lambda \geq \frac{1}{n} \|X^t y\|_\infty$

{\hat{β}}_{λ}

$\hat\beta_\lambda$

— user795305

Soruda açıklanan kement tahmini, aşağıdaki optimizasyon sorununun lagrange çarpan eşdeğeri:

minimize f (β) subject to g (β) \leq t

${\text{minimize } f(\beta) \text{ subject to } g(\beta) \leq t}$

\begin{aligned} f (β) & = \frac{1}{2 n} | | y - X β | |_{2}^{2} \\ g (β) & = | | β | |_{1} \end{aligned}

$\begin{align} f(\beta) &= \frac{1}{2n} \vert\vert y-X\beta \vert\vert_2^2 \\ g(\beta) &= \vert\vert \beta \vert\vert_1 \end{align}$

Bu optimizasyon, çok boyutlu bir küre ile bir politop (X vektörleri tarafından yayılmış) arasındaki temas noktasını bulmada geometrik bir temsile sahiptir . Politopun yüzeyi yı temsil eder . Kürenin yarıçapı karesi fonksiyonunu temsil eder ve yüzeyler temas ettiğinde minimize edilir. $g(\beta)$ $f(\beta)$

Aşağıdaki resimler grafiksel bir açıklama sunmaktadır. Görüntüler, uzunluk 3 vektörleri ile aşağıdaki basit problemden yararlandı (bir çizim yapabilmek için basitlik için):

[\begin{matrix} y_{1} \\ y_{2} \\ y_{3} \end{matrix}] = [\begin{matrix} 1.4 \\ 1.84 \\ 0.32 \end{matrix}] = β_{1} [\begin{matrix} 0.8 \\ 0.6 \\ 0 \end{matrix}] + β_{2} [\begin{matrix} 0 \\ 0.6 \\ 0.8 \end{matrix}] + β_{3} [\begin{matrix} 0.6 \\ 0.64 \\ - 0.48 \end{matrix}] + [\begin{matrix} ϵ_{1} \\ ϵ_{2} \\ ϵ_{3} \end{matrix}]

$\begin{bmatrix} y_1 \\ y_2 \\ y_3\\ \end{bmatrix} = \begin{bmatrix} 1.4 \\ 1.84 \\ 0.32\\ \end{bmatrix} = \beta_1 \begin{bmatrix} 0.8 \\ 0.6 \\ 0\\ \end{bmatrix} +\beta_2 \begin{bmatrix} 0 \\ 0.6 \\ 0.8\\ \end{bmatrix} +\beta_3 \begin{bmatrix} 0.6 \\ 0.64 \\ -0.48\\ \end{bmatrix} + \begin{bmatrix} \epsilon_1 \\ \epsilon_2 \\ \epsilon_3\\ \end{bmatrix}$ ve kısıtlama ile

ϵ_{1}^{2} + ϵ_{2}^{2} + ϵ_{3}^{2}

$\epsilon_1^2+\epsilon_2^2+\epsilon_3^2$

a b s (β_{1}) + a b s (β_{2}) + a b s (β_{3}) \leq t

$abs(\beta_1)+abs(\beta_2)+abs(\beta_3) \leq t$

Görüntüler gösterir:

Kırmızı yüzey, X tarafından yayılan bir politop olan kısıtlamayı gösterir.
Ve yeşil yüzey minimalize yüzeyi, bir küreyi tasvir ediyor.
Mavi çizgi, kement yolunu, veya değiştirirken bulduğumuz çözümleri gösterir . $t$ $\lambda$
Yeşil vektör OLS çözümünü ( veya . $\hat{y}$ $\beta_1=\beta_2=\beta_3=1$ $\hat{y} = x_1 + x_2 + x_3$
Üç siyah vektör , ve . $x_1 = (0.8,0.6,0)$ $x_2 = (0,0.6,0.8)$ $x_3 = (0.6,0.64,-0.48)$

Üç resim gösteriyoruz:

İlk görüntüde , politopun sadece bir noktası küreye dokunuyor . Bu görüntü, kement çözümünün neden sadece OLS çözümünün bir katı olmadığını çok iyi göstermektedir. OLS çözümünün yönü toplamına daha fazla . Bu durumda yalnızca tek bir sıfırdan . $\vert \beta \vert_1$ $\beta_i$
İkinci görüntüde , politopun bir sırtı küreye dokunuyor (daha yüksek boyutlarda daha yüksek boyutlu analoglar elde ediyoruz). Bu durumda, birden çok sıfırdan . $\beta_i$
Üçüncü görüntüde , politopun bir yüzü küreye dokunuyor . Bu durumda, tüm sıfırdan $\beta_i$ .

Birinci ve üçüncü vakalara sahip olduğumuz veya aralığı, basit geometrik temsillerinden dolayı kolayca hesaplanabilir. $t$ $\lambda$

Durum 1: Yalnızca tek bir sıfırdan farklı $\beta_i$

Sıfır olmayan , ilişkili vektörünün ile kovaryansın en yüksek mutlak değerine sahip olduğu (bu, OLS çözümüne en yakın olan parralletopun noktasıdır). En azından sıfır olmayan bir sahip olduğumuz Lagrange çarpanını ile türevi alarak ( negatif veya pozitif yönde bağlı olarak işaret) : $\beta_i$ $x_i$ $\hat{y}$ $\lambda_{max}$ $\beta$ $\pm\beta_i$ $\beta_i$

\frac{\partial (\frac{1}{2 n} | | y - X β | |_{2}^{2} - λ | | β | |_{1})}{\pm \partial β_{i}} = 0

$\frac{\partial ( \frac{1}{2n} \vert \vert y - X\beta \vert \vert_2^2 - \lambda \vert \vert \beta \vert \vert_1 )}{\pm \partial \beta_i} = 0$

hangi yol açar

λ_{m a x} = \frac{(\frac{1}{2 n} \frac{\partial (| | y - X β | |_{2}^{2}}{\pm \partial β_{i}})}{(\frac{| | β | |_{1})}{\pm \partial β_{i}})} = \pm \frac{\partial (\frac{1}{2 n} | | y - X β | |_{2}^{2}}{\partial β_{i}} = \pm \frac{1}{n} x_{i} \cdot y

$\lambda_{max} = \frac{ \left( \frac{1}{2n}\frac{\partial ( \vert \vert y - X\beta \vert \vert_2^2}{\pm \partial \beta_i} \right) }{ \left( \frac{ \vert \vert \beta \vert \vert_1 )}{\pm \partial \beta_i}\right)} = \pm \frac{\partial ( \frac{1}{2n} \vert \vert y - X\beta \vert \vert_2^2}{\partial \beta_i} = \pm \frac{1}{n} x_i \cdot y$

Bu, yorumlarda belirtilen . $\vert \vert X^Ty \vert \vert_\infty$

bunun sadece politopun ucunun küreye temas ettiği özel durum için geçerli olduğunu fark etmeliyiz ( bu yüzden genelleme basit olsa da bu genel bir çözüm değildir ).

Durum 3: Tüm sıfır değildir. $\beta_i$

Bu durumda, politopun bir faseti küreye dokunuyor. Daha sonra, kement yolunun değişim yönü belirli bir faset yüzeyine normaldir .

Politopun birçok yönü vardır, olumlu ve olumsuz katkıları vardır . Kement çözüm yakın ols çözüme olduğunda son kement aşamada söz konusu olduğunda, daha sonra katkıları EKK çözümün işareti tanımlanmalıdır. Faset normal fonksiyonunun gradyanı alınarak tanımlanabilir , noktasında betanın toplamın değeri olan,: $x_i$ $x_i$ $\vert \vert \beta(r) \vert \vert_1$ $r$

n = - \nabla_{r} (| | β (r) | |_{1}) = - \nabla_{r} (sign (\hat{β}) \cdot (X^{T} X)^{- 1} X^{T} r) = - sign (\hat{β}) \cdot (X^{T} X)^{- 1} X^{T}

$n = - \nabla_r ( \vert \vert \beta(r) \vert \vert_1) = -\nabla_r ( \text{sign} (\hat{\beta}) \cdot (X^TX)^{-1}X^Tr ) = -\text{sign} (\hat{\beta}) \cdot (X^TX)^{-1}X^T$

ve bu yön için eşdeğer beta değişikliği:

{\vec{β}}_{l a s t} = (X^{T} X)^{- 1} X n = - (X^{T} X)^{- 1} X^{T} [sign (\hat{β}) \cdot (X^{T} X)^{- 1} X^{T}]

$\vec{\beta}_{last} = (X^TX)^{-1}X n = -(X^TX)^{-1}X^T [\text{sign} (\hat{\beta}) \cdot (X^TX)^{-1}X^T]$

transpoze olan bazı cebirsel hilelerden sonra ( ) ve parantezlerin dağılımı $A^TB^T = [BA]^T$

{\vec{β}}_{l a s t} = - (X^{T} X)^{- 1} sign (\hat{β})

$\vec{\beta}_{last} = - (X^TX)^{-1} \text{sign} (\hat{\beta})$

bu yönü normalleştiriyoruz:

{\vec{β}}_{l a s t, n o r m a l i z e d} = \frac{{\vec{β}}_{l a s t}}{\sum {\vec{β}}_{l a s t} \cdot s i g n (\hat{β})}

$\vec{\beta}_{last,normalized} = \frac{\vec{\beta}_{last}}{\sum \vec{\beta}_{last} \cdot sign(\hat{\beta})}$

Aşağıda tüm katsayıların sıfır olmadığı değerini bulmak için . Sadece OLS çözümünden katsayılardan birinin sıfır olduğu noktaya kadar hesaplamak zorundayız, $\lambda_{min}$

d = m i n (\frac{\hat{β}}{{\vec{β}}_{l a s t, n o r m a l i z e d}}) with the condition that \frac{\hat{β}}{{\vec{β}}_{l a s t, n o r m a l i z e d}} > 0

$d = min \left( \frac{\hat{\beta}}{\vec{\beta}_{last,normalized}} \right)\qquad \text{with the condition that } \frac{\hat{\beta}}{\vec{\beta}_{last,normalized}} >0$

ve bu noktada türevi değerlendiririz (daha önce hesaplarken olduğu gibi ). Bunu ikinci dereceden bir fonksiyon için sahibiz : $\lambda_{max}$ $q'(x) = 2 q(1) x$

λ_{m i n} = \frac{d}{n} | | X {\vec{β}}_{l a s t, n o r m a l i z e d} | |_{2}^{2}

$\lambda_{min} = \frac{d}{n} \vert \vert X \vec{\beta}_{last,normalized} \vert \vert_2^2$

Görüntüler

bir noktası küreye dokunuyor, tek bir sıfırdan farklı: $\beta_i$

bir sırtı (veya birden fazla boyutta farklıdır) küreye dokunuyor, birçok sıfırdan farklı: $\beta_i$

bir yüzü küreye dokunuyor, hepsi sıfır değil: $\beta_i$

Kod örneği:

library(lars)    
data(diabetes)
y <- diabetes$y - mean(diabetes$y)
x <- diabetes$x

# models
lmc <- coef(lm(y~0+x))
modl <- lars(diabetes$x, diabetes$y, type="lasso")

# matrix equation
d_x <- matrix(rep(x[,1],9),length(x[,1])) %*% diag(sign(lmc[-c(1)]/lmc[1]))
x_c = x[,-1]-d_x
y_c = -x[,1]

# solving equation
cof <- coefficients(lm(y_c~0+x_c))
cof <- c(1-sum(cof*sign(lmc[-c(1)]/lmc[1])),cof)

# alternatively the last direction of change in coefficients is found by:
solve(t(x) %*% x) %*% sign(lmc)

# solution by lars package
cof_m <-(coefficients(modl)[13,]-coefficients(modl)[12,])

# last step
dist <- x %*% (cof/sum(cof*sign(lmc[])))
#dist_m <- x %*% (cof_m/sum(cof_m*sign(lmc[]))) #for comparison

# calculate back to zero
shrinking_set <- which(-lmc[]/cof>0)  #only the positive values
step_last <- min((-lmc/cof)[shrinking_set])

d_err_d_beta <- step_last*sum(dist^2)

# compare
modl[4] #all computed lambda
d_err_d_beta  # lambda last change
max(t(x) %*% y) # lambda first change
enter code here

not: bu son üç satır en önemli

> modl[4]            # all computed lambda by algorithm
$lambda
 [1] 949.435260 889.315991 452.900969 316.074053 130.130851  88.782430  68.965221  19.981255   5.477473   5.089179
[11]   2.182250   1.310435

> d_err_d_beta       # lambda last change by calculating only last step
    xhdl 
1.310435 
> max(t(x) %*% y)    # lambda first change by max(x^T y)
[1] 949.4353

Yazan: StackExchangeStrike

— Sextus Empiricus
kaynak

Düzenlemeleri eklediğiniz için teşekkür ederiz! Şu ana kadar okuduğumda, "vaka 1" alt bölümünü geçtim. Mutlak bir değer veya maksimum için sonucunun yanlış olduğu ortaya çıkar. Ayrıca, türetmede bir işaret hatası, farklılaşmanın yanlış kabul edildiği bir yer, ile ilgili olarak ayırt etmek için "keyfi bir seçimi" ve yanlış değerlendirilmiş bir türev olduğu için bir hata olduğunu da biliyoruz . Açıkçası, geçerli bir " " işareti yok.

λ_{max}

$\lambda_\max$

i

$i$

=

$=$

— user795305

Artı eksi işareti ile düzelttim. Beta değişikliği pozitif veya negatif olabilir. İlişkili vektör " ile en yüksek kovaryansa sahip $x_i$ $\hat{y}$

— Sextus Empiricus

Güncelleme için teşekkürler! Ancak, hala sorunlar var. Örneğin, yanlış değerlendirilmiş.

\frac{\partial}{\partial β_{i}} ‖ y - X β ‖_{2}^{2}

$\frac{\partial}{\partial \beta_i} \|y - X \beta\|_2^2$

— user795305

Eğer sonra bu korelasyon denkleme girer, s = 0 ise, sadece tanjantının değişimi

β = 0

$\beta=0$

\frac{\partial}{\partial β_{i}} | | y - X β | |_{2}^{2}

$\frac{\partial}{\partial\beta_i} \vert \vert y - X\beta \vert \vert_2^2$

= \frac{\partial | | y - X β | |_{2}}{\partial β_{i}} 2 | | y - X β | |_{2}

$= \frac{\partial \vert \vert y - X\beta \vert \vert_2}{\partial\beta_i} 2 \vert \vert y - X\beta \vert \vert_2$

= \frac{\partial | | y - s x_{i} | |_{2}}{\partial s} 2 | | y - X β | |_{2}

$= \frac{\partial \vert \vert y - s x_i \vert \vert_2}{\partial s} 2 \vert \vert y - X\beta \vert \vert_2$

= 2 c o r (x_{i}, y) | | x_{i} | |_{2} | | y | |_{2}

$= 2 cor(x_i,y) \vert \vert x_i \vert \vert_2 \vert \vert y \vert \vert_2$

= 2 x_{i} \cdot y

$= 2 x_i \cdot y$

s x_{i}

$s x_i$

y

$y$

y - s x_{i}

$y - s x_i$

— Sextus Empiricus

Ah, tamam, bu yüzden argümanınızda bir sınır var! (Hem kullanıyorsunuz hem de bir katsayı sıfır değil.) Ayrıca, satırındaki ikinci eşitlik yanıltıcıdır çünkü işaret mutlak değerin farklılaşması nedeniyle değişebilir.

β = 0

$\beta = 0$

λ_{max}

$\lambda_\max$

— user795305

Kementte 0 bileşen veren en küçük

Durum 1: Yalnızca tek bir sıfırdan farklıβiβi\beta_i

Durum 3: Tüm sıfır değildir.βiβi\beta_i

Görüntüler

Kod örneği:

Durum 1: Yalnızca tek bir sıfırdan farklı $\beta_i$

Durum 3: Tüm sıfır değildir. $\beta_i$