KKT'ye karşı kısıtlanmamış kement regresyonu formülasyonu

L1 cezalandırılmış regresyon (diğer adıyla kement) iki formülasyonda sunulmaktadır. İki objektif fonksiyonun O zaman iki farklı formülasyon , ve eşdeğer olarak Karush-Kuhn-Tucker (KKT) koşullarını kullanarak, ilk formülasyon için durağanlık koşulunun, ikinci formülasyonun gradyanını alıp 0'a eşit olarak ayarlamakla eşdeğer olduğunu görmek kolaydır. Ne bulamıyorum, ne de anlayamıyorum , ilk formülasyon için tamamlayıcı gevşeklik koşulu,

Q_{1} = \frac{1}{2} | | Y - X β | |_{2}^{2} Q_{2} = \frac{1}{2} | | Y - X β | |_{2}^{2} + λ | | β | |_{1} .

$Q_1 = \frac{1}{2}||Y - X\beta||_2^2 \\ Q_2 =\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1.$

{argmin}_{β} Q_{1}

$\text{argmin}_\beta \; Q_1$

| | β | |_{1} \leq t,

$||\beta||_1 \leq t,$

{argmin}_{β} Q_{2} .

$\text{argmin}_\beta \; Q_2.$

λ (| | β | |_{1} - t) = 0

$\lambda\left(||\beta||_1 - t\right) = 0$ , ikinci formülasyonun çözeltisi ile yerine getirilmesi garanti edilmektedir.

regression lasso penalized

— goodepic
kaynak

Yanıtlar:

İki formülasyon , birinci formülasyondaki her değeri için, iki formülasyonun aynı minimizer sahip olacağı şekilde, ikinci formülasyon için değeri olduğu anlamında eşdeğerdir . $t$ $\lambda$ $\beta$

İşte gerekçe:

Kement formülasyon göz önünde bulundurun: asgarileştirir olsun ve let . Benim iddiam, ilk formülasyonda ayarlarsanız , ilk formülasyonun çözümü de . İşte kanıt:

f (β) = \frac{1}{2} | | Y - X β | |_{2}^{2} + λ | | β | |_{1}

$f(\beta)=\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1$

β^{*}

$\beta^*$

b = | | β^{*} | |_{1}

$b=||\beta^*||_1$

t = b

$t=b$

β^{*}

$\beta^*$

İlk formülasyonu düşünün Mümkünse bu ikinci formülasyonun bir çözümü olsun öyle ki (işaretten kesinlikle daha az not edin). O zaman ın kement için bir çözüm olduğu gerçeğiyle çelişen olduğunu görmek kolaydır. Böylece, birinci formülasyonun çözümü de .

min \frac{1}{2} | | Y - X β | |_{2}^{2} s.t. | | β | |_{1} \leq b

$\min \frac{1}{2}||Y - X\beta||_2^2 \text{ s.t.} ||\beta||_1\leq b$

\hat{β}

$\hat{\beta}$

| | \hat{β} | |_{1} < | | β^{*} | |_{1} = b

$||\hat{\beta}||_1<||\beta^*||_1=b$

f (\hat{β}) < f (β^{*})

$f(\hat{\beta})<f(\beta^*)$

β^{*}

$\beta^*$

β^{*}

$\beta^*$

Yana , tamamlayıcı gevşeklik durumu çözeltisi noktasında yerine getirilir . $t=b$ $\beta^*$

Bu nedenle, ile bir kement formülasyonu verildiğinde , kement çözeltisinin normunun değerine eşit bir kullanarak kısıtlı bir formülasyon oluşturursunuz . Tersine, ile kısıtlanmış bir formülasyon verildiğinde , bir bulursunuz , böylece kementin çözümü kısıtlanmış formülasyonun çözeltisine eşit olacaktır. $\lambda$ $t$ $l_1$ $t$ $\lambda$

(Alt sınıfları biliyorsanız, bu lambda'yı denklemini çözerek bulabilirsiniz , burada $\lambda$ $X^T(y-X\beta^*)=\lambda z^*$ $z^* \in \partial ||\beta^*||_1)$

— elexhobby
kaynak

Mükemmel. Çözümü gördükten sonra, oraya kendiniz gelmediğiniz için her zaman aptal hissedersiniz. Çelişkiyi bulurken, bulduğumuzu varsayalım ki ?

\hat{β}

$\hat{\beta}$

| | \hat{β} | |_{1} < | | β^{*} | |_{1} = b

$||\hat{\beta}||_1 < ||\beta^*||_1 = b$

— goodepic

Flaggin cevabını doğru olarak düşünün

— bdeonovic

neden

f (\hat{β}) < f (β^{*})

$f(\hat{\beta}) < f(\beta^*)$

— goofd

Bu, birinci formülasyona yönelik çözeltinin ayrıca ll-b normuna sahip olması gerektiğini kanıtlar. İki çözümün gerçekten aynı olduğunu nasıl kanıtlar?

— broncoAbierto

Biz başvuruda bulunamaz böylece Ayrıca, Kement daima benzeri bir çözüm yoktur asgarileştirir. arxiv.org/pdf/1206.0313.pdf . Bununla birlikte, küçültücü kümesine başvurabilir ve bazı bu kümeye ait olması gerektiğini gösterebiliriz .

\hat{β} \neq β^{*}

$\hat{\beta} \neq \beta^*$

— broncoAbierto

Elexhobby'nin bu kanıt fikrinin iyi olduğunu düşünüyorum, ama bunun tamamen doğru olduğunu düşünmüyorum.

İlk formülasyon için bir çözümün varlığını göstererek, , öyle kibir çelişkiye yol açarsa, yalnızca, . $\hat{\beta}$ $\|\hat{\beta}\| < \|\beta^*\|$ $\|\hat{\beta}\| = \|\beta^*\|$ $\hat{\beta} = \beta^*$

Bunun yerine şu şekilde ilerlememizi öneririm:

Kolaylık sağlamak için, sırasıyla birinci ve ikinci formülasyonu ve gösterelim . Diyelim ki , ile benzersiz bir çözümüne sahip . Let , bir çözüm . Sonra,(kısıtlama nedeniyle daha büyük olamaz) ve bu nedenle . Eğer daha sonra değil çözüm bizim varsayımlar çelişmektedir. Eğer $P_1$ $P_2$ $P_2$ $\beta^*$ $\|\beta^*\|=b$ $P_1$ $\hat{\beta} \neq \beta^*$ $\|\hat{\beta}\| \leq \|\beta^*\|$ $f(\hat{\beta}) \leq f(\beta^*)$ $f(\hat{\beta}) < f(\beta^*)$ $\beta^*$ $P_2$ $f(\hat{\beta}) = f(\beta^*)$ sonra , çünkü çözümün benzersiz olduğunu varsaydık. $\hat{\beta} = \beta^*$

Ancak, Kement'in birden fazla çözümü olması söz konusu olabilir. Arxiv.org/pdf/1206.0313.pdf dosyasının lemma 1'i ile tüm bu çözümlerin aynı normuna (ve elbette aynı minimum değere) sahip olduğunu biliyoruz . Bu normu için kısıtlama olarak ve devam . $\ell 1$ $P_1$

ile ile çözüm kümesini gösterelim . Bırakın , . Sonra, ve dolayısıyla . Eğer bazı (ve dolayısıyla hepsi için) daha sonra varsayımlarımıza çelişmektedir. Eğer bazı daha sonra çözeltilerin grubu değildir $S$ $P_2$ $\|\beta\|=b \mbox{ } \forall \beta \in S$ $P_1$ $\hat{\beta} \notin S$ $\|\hat{\beta}\| \leq \|\beta\| \forall \beta \in S$ $f(\hat{\beta}) \leq f(\beta) \forall \beta \in S$ $f(\hat{\beta}) = f(\beta)$ $\beta \in S$ $\hat{\beta} \in S$ $f(\hat{\beta}) < f(\beta)$ $\beta \in S$ $S$ $P_2$ . Bu nedenle, her çözelti olan , herhangi bir çözelti, yani ayrıca bir çözüm . Tamamlayıcının da geçerli olduğunu kanıtlamaya devam edecektir. $P_1$ $S$ $P_1$ $P_2$

— broncoAbierto
kaynak