LARS için kement değişikliği

12

Kement üretmek için Lars algoritmasının nasıl değiştirilebileceğini anlamaya çalışıyorum. LARS'ı anlasam da Tibshirani ve ark. Tarafından Lasso modifikasyonunu gazeteden göremiyorum. Özellikle, sıfır olmayan koordinat işaretinin mevcut korelasyonun işareti ile neden uyum sağlaması gerektiğine dair işaret koşulunu anlamıyorum. Birisi bana bu konuda yardımcı olabilir mi? Ben orijinal L-1 norm problemi yani Kement üzerinde KKT koşulunu kullanarak bir matematiksel kanıt arıyorum sanırım. Çok teşekkürler!

lasso

— newbiequant
kaynak

Efron ve arkadaşlarının stanford.edu/~hastie/Papers/LARS/LeastAngle_2002.pdf sitesine mi başvuruyorsunuz ? Bunu bölüm 5'in Lemma 8'inde kanıtlıyor.

— Peter Ellis

1

Ayrıca sorudan da emin değilim, ama aslında Kement, Lars'ın basitleştirilmesidir: Kement için, sadece mevcut kalıntı ve kalan temel işlevler arasında pozitif korelasyonlar arıyorsunuz, çünkü sadece pozitif korelasyonlar olumluya yol açar (~ negatif olmayan) katsayılar.

— Bay White

2

Let (boyut ) standart girişler, bir dizi ifade (boyut ) tepkilerini merkezli (boyut ) regresyon ağırlıkları ve bir -norm cezalandırılmalarını katsayısı. $X$ $n\times p$ $y$ $n \times 1$ $\beta$ $p \times 1$ $\lambda > 0$ $l_1$

LASSO sorunu daha sonra

\begin{aligned} β^{*} & = {argmin}_{β} L (β, λ) \\ L (β, λ) & = ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \end{aligned}

$\begin{align} \beta^* &= \text{argmin}_{\beta}\ L(\beta,\lambda) \\ L(\beta,\lambda) &= \Vert y-X\beta \Vert_2^2 + \lambda \Vert \beta \Vert_1 \end{align}$

Bunu tüm değerleri için çözmek LASSO düzenleme yolu . $\lambda > 0$ $\beta^*(\lambda)$

Ceza katsayısı nın sabit bir değeri için (yani, aktif belirleyicilerin sabit sayısı = LARS algoritmasının sabit adımı), tatmin edici olduğunu göstermek mümkündür (sadece KKT durağanlık koşulunu bu şekilde yazın) cevap ) $\lambda^*$ $\beta^*$

λ^{*} = 2 sign (β_{a}^{*}) X_{a}^{T} (y - X β^{*}), \forall a \in A

$\lambda^* = 2 \ \text{sign}(\beta_a^*) X_a^T (y - X \beta^*),\ \ \ \forall a \in A$

ile aktif belirleyicileri kümesini temsil etmektedir. $A$

Çünkü işareti olduğu (bu bir cezalandırılmalarını katsayısıdır), açıktır pozitif olmalıdır (sıfır olmayan dolayısıyla aktif prediktörü ağırlık) göre aynı olmalıdır yani mevcut regresyon kalıntısı ile korelasyon. $\lambda^*$ $\beta_a^*$ $X_a^T (y - X\beta^*) = X_{a}^T r$

— Quantuple
kaynak

1

@ Mr._White, LARS ve Kement arasındaki büyük farkın sezgisel bir açıklamasını yaptı; ekleyeceğim tek nokta, kementin (bir çeşit) geriye doğru bir seçim yaklaşımı gibi olması ve ( üzerinde “normalize edilmiş” korelasyonların mevcut olduğu bir terim olduğu sürece her adımda bir terim ortaya çıkarmasıdır. LARS her şeyi orada tutar - temel olarak kementi mümkün olan her sırayla gerçekleştirir. Bu, kementte her yinelemenin zaten kaldırılmış olan terimlere bağlı olduğu anlamına gelir. $X \times X$

Lars.R içinde: Effron en uygulaması farkları iyi değişir göstermektedir lars için kaynak pkg . 180. satırdan başlayarak matrisi ve matrislerinin güncelleme adımına ve . Ben boşluklar kaynaklanan bazı garip durumları hayal edebilirsiniz terimleri dengesiz olan (burada ve çok ilişkilidir ama diğerleri ile değil ile diğerleri değil ancak, vs.) seçim sırası oldukça önyargılı olabilir. $X \times X$ $\zeta$ $\zeta_{min} < \zeta_{current}$ $A$ $x_1$ $x_2$ $x_2$ $x_3$

— egbutter
kaynak