Seyrek modeller için neden L1 normu

97

Doğrusal regresyonla ilgili kitapları okuyorum. L1 ve L2 normuyla ilgili bazı cümleler var. Onları tanıyorum, sadece neden L1 normunun seyrek modeller için olduğunu anlamıyorum. Birisi kullanmak basit bir açıklama verebilir mi?

— Yongwei Xing
kaynak

4

Temel olarak, seyreklik, bir izos yüzeyinin ekseninde yatan keskin kenarlardan kaynaklanır. Şu ana kadar bulduğum en iyi grafik açıklama bu videoda: youtube.com/watch?v=sO4ZirJh9ds

— felipeduque

1

Aynı chioka.in/… hakkında

— prashanth

Aşağıdaki Orta yazıyı kontrol edin. Orta.com/@vamsi149/…

— çözücüsü 149

111

Göz önünde vektörü burada küçüktür. ve normları sırasıyla tarafından verilmektedir $\vec{x}=(1,\varepsilon)\in\mathbb{R}^2$ $\varepsilon>0$ $l_1$ $l_2$ $\vec{x}$

| | \vec{x} | |_{1} = 1 + ε, | | \vec{x} | |_{2}^{2} = 1 + ε^{2}

$||\vec{x}||_1 = 1+\varepsilon,\ \ ||\vec{x}||_2^2 = 1+\varepsilon^2$

Şimdi, bazı düzenlilestirme prosedürün bir parçası olarak, biz unsurlarının birinin büyüklüğünü azaltmak için gidiyoruz demek tarafından . Eğer - , sonuçta ortaya çıkan normlar $\vec{x}$ $\delta\leq\varepsilon$ $x_1$ $1-\delta$

| | \vec{x} - (δ, 0) | |_{1} = 1 - δ + ε, | | \vec{x} - (δ, 0) | |_{2}^{2} = 1 - 2 δ + δ^{2} + ε^{2}

$||\vec{x}-(\delta,0)||_1 = 1-\delta+\varepsilon,\ \ ||\vec{x}-(\delta,0)||_2^2 = 1-2\delta+\delta^2+\varepsilon^2$

Öte yandan, azaltarak ile normlarını verir $x_2$ $\delta$

| | \vec{x} - (0, δ) | |_{1} = 1 - δ + ε, | | \vec{x} - (0, δ) | |_{2}^{2} = 1 - 2 ε δ + δ^{2} + ε^{2}

$||\vec{x}-(0,\delta)||_1 = 1-\delta+\varepsilon,\ \ ||\vec{x}-(0,\delta)||_2^2 = 1-2\varepsilon\delta+\delta^2+\varepsilon^2$

$l_2$ $x_1$ $x_2\approx 0$ $l_1$ $l_2$ $l_2$ $\varepsilon$ $0$ $\varepsilon$ $l_1$ $\delta$

$l_1$ $l_2$

— bnaul
kaynak

3

Cevabınız için teşekkürler! Yine de son noktaya ikna olmadım. Eğer cezalandırılmamış lineer regresyon uygularsanız, nadiren seyrek bir çözüm elde edemezsiniz (oysa bir L1 cezası eklemek genellikle size azlık verir). Dolayısıyla, L1 cezaları aslında sıfıra tam olarak sıfıra yaklaşan katsayılar göndererek seyrekliği teşvik eder.

— Stefan Wager

2

l_{1}

$l_1$

l_{α}

$l_\alpha$

α \leq 1

$\alpha\leq1$

l_{0}

$l_0$

1

Evet doğru. Seyrekliğe yol açan birçok norm vardır (örneğin, bahsettiğiniz gibi, p <= 1 olan herhangi bir Lp normu). Genel olarak, sıfırda keskin bir köşesi olan herhangi bir norm, sparititeye neden olur. Bu yüzden, asıl soruya geri dönersek - L1 normu sıfırda süreksiz bir gradyana sahip olarak seyrekleşmeye neden olur (ve bu özelliğe sahip diğer herhangi bir ceza da bunu yapar).

— Stefan Wager

3

Herhangi birinin daha fazla okumak istemesi durumunda, L1 normuna alternatif olan dışbükey olmayan ceza fonksiyonlarıyla ilgili aktif bir literatür vardır (örneğin, yakın zamanda, papers.nips.cc/paper/… ).

— Stefan Wager

1

Harika cevap Ben bulana kadar bir süredir merak ediyorum.

— Hady Elsahar

72

Seyrek bir modelde, ağırlıkların çoğunun 0 olduğu bir model düşünüyoruz. Bu nedenle L1-normalizasyonunun 0-ağırlık yaratma olasılığının daha fazla olduğunu düşünelim.

$(w_1, w_2, \dots, w_m)$

$L_1(w)$ $\Sigma_i |w_i|$

L2-normalizasyonda, modeli değerinde bir kayıp fonksiyonuyla cezalandırırsınız. $L_2(w)$ $\frac{1}{2} \Sigma_i w_i^2$

$\eta$

$\frac{dL_1(w)}{dw} = sign(w)$ $sign(w) = (\frac{w_1}{|w_1|}, \frac{w_2}{|w_2|}, \dots, \frac{w_m}{|w_m|})$

$\frac{dL_2(w)}{dw} = w$

Kayıp işlevini çizersek ve sadece tek bir parametreden oluşan bir model için türev yaparsak, L1 için şöyle görünür:

görüntü tanımını buraya girin

Ve L2 için böyle:

$L_1$ $w_1 = 0$ $L_2$

bir modelle başladığınızı hayal edin. $w_1 = 5$ $\eta = \frac{1}{2}$ $w_1 := w_1 - \eta \cdot \frac{dL_1(w)}{dw} = w_1 - \frac{1}{2} \cdot 1$ $w_1 = 0$

görüntü tanımını buraya girin

$\eta = \frac{1}{2}$ $w_1$ $w_1 := w_1 - \eta \cdot \frac{dL_2(w)}{dw} = w_1 - \frac{1}{2} \cdot w_1$

görüntü tanımını buraya girin

$\eta$

— Kent Munthe Caspersen
kaynak

3

η = 0.5

$\eta = 0.5$

w_{f i r s t s t e p} = 0.1 - 0.5 * (+ 1) => w = - 0.4

$w_{first\text{ }step} = 0.1 - 0.5*(+1) => w = -0.4$

w_{s e c o n d s t e p} = - 0.4 - 0.5 * (- 1) = 0.1.

$w_{second step} = -0.4 - 0.5*(-1) = 0.1.$

5

@AlexYashin doğru - eğer sadece L1 düzenlileştirmeye dayalı ağırlıkları güncellersek, 0'a yakın salınan ağırlıkları kaldırabiliriz. Düzenlemeyi, kayıp fonksiyonunu optimize etmekle birlikte kullanıyoruz. Bu şekilde düzenlileştirme ağırlıkları sıfıra doğru iterken aynı zamanda ağırlıkları tahminleri optimize eden bir değere de zorlamaya çalışıyoruz. İkinci bir özellik, öğrenme oranıdır. Daha küçük bir öğrenme oranıyla, düzenlileşmenin etrafında salınabileceği değere o kadar yaklaşabiliriz ki, bunu ihmal edebiliriz

— Kent Munthe Caspersen

1

Neden dL2(w)/dw'modül' sadece doğrusal değil?

— mrgloom

1

@mrgloom ağırlıktaki değişim başına değişim dL2(w)/dwolarak okunabilir L2(w). L2-normalizasyon ağırlıkları karelediğinden, L2(w)daha yüksek ağırlıklara sahip olduğumuzda aynı ağırlık değişikliği için çok daha fazla değişiklik olacaktır. Bu yüzden, onu çizdiğinizde fonksiyon dışbükeydir. Bununla birlikte, L1 için L1(w)ağırlık değişimine göre değişim, ağırlıklarınızın ne olduğuna bakılmaksızın aynıdır - bu, doğrusal bir işleve yol açar.

— Kent Munthe Caspersen

1

@KentMuntheCaspersen Şaşırtıcı açıklama! Grafikler ve bu sezgisel hale getirmek için harcadığınız çaba için teşekkür ederiz!

— layser

15

Hastie, Tibshirani ve Friedman'ın İstatistiksel Öğrenme Öğelerinden Şekil 3.11 çok açıklayıcıdır:

$\hat{\beta}$ $\beta_1$ $\beta_2$ $\hat{\beta}$ $L_1$ $L_2$ ) sırasıyla regresyon. Sezgisel olarak, her bir yöntem için, kırmızı elipslerin ve mavi bölgenin kesişimini, amaç fizibilitesini korurken hata fonksiyonunu en aza indirgemek için arıyoruz.

$L_1$

— Zhanxiong
kaynak

16

Resimde ek bilgi olmadan çok inandırıcı değil. Öyleyse neden hatanın kontürleri şekilde oldukları yerde bulunmalıdır?

— wabbit

@HrishikeshGanu Sonunda yayını düzenlemek için biraz zaman aldı.

— Zhanxiong

Tüm kontürler aynı formda olacak ...

— kjetil b halvorsen

1

\hat{β}

$\hat{\beta}$

β_{1}

$\beta_1$

β_{2}

$\beta_2$

β_{1} = β_{2}

$\beta_1 = \beta_2$

13

$\hat \beta$ $\hat \beta$ $\ell_1 (\hat \beta) < t$ $\ell_2 (\hat \beta) < t$

$\ell_1$ $\ell_1$ $\{ x : \ell_1(x) \le 1\}$

Daha genel olarak, bu kitap bu konu hakkında iyi bir referans: hem sağlam hem de iyi anlatılmış, harika açıklamalar.

— Elvis
kaynak

3

İkinci paragrafınızın bir anahtar olduğunu düşünüyorum ... en azından benim sezgim için: bir "top" daha çok eksenler boyunca sivri bir elmas gibidir, yani çarpması zorlanan bir hiper uçağın sıfır olması daha olasıdır. Eksenler

— Wayne,

2

\hat{β}

$\hat \beta$

ℓ_{1}

$\ell_1$

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$

ℓ_{2}

$\ell_2$

\hat{β}

$\hat \beta$

3

Kitap iyi, ama nereden geldiğini ve arkasındaki matematiği asla açıklamıyor.

— user13985,

2

Basit bir matematiksel olmayan cevap olacaktır:

L2 için: Ceza terimi karedir , bu nedenle küçük bir değerin karesi daha küçük olacaktır. Asgari kare hatası alma hedefimize ulaşmak için sıfır yapmak zorunda değiliz, bundan önce alacağız.

L1 için: Penaltı terim mutlaktır , biz olabilir gerek sıfıra gitmek olduğu gibi küçük küçültmek için hiçbir katalizör .

Bu benim bakış açım.

— Arnab Mukherjee
kaynak

Beni çok ikna edici değil.

— Tyler,

2

Resimde L1 ve L2 Normları tarafından kaplanan alanın şekilleri gösterilmektedir. İkinci resim, çeşitli regresyon problemleri için çeşitli Gradyan İniş hatlarını içerir. Tüm kontur parsellerinde, Ridge veya L2 Normu ile kesişen kırmızı daireyi gözlemleyin. kesişme ekseni üzerinde değil. Tüm dış hatlardaki siyah daire, L1 Normu veya Lasso'ya müdahale eden olanı temsil eder. Eksenlere nispeten yakın bir şekilde kesişir. Bu, katsayıları 0'a getirme ve dolayısıyla özellik seçimi ile sonuçlanır. Dolayısıyla L1 normu, modeli seyrekleştirir.

Aşağıdaki linkte daha ayrıntılı bir açıklama: Veri Bilimine Doğru Gönder'i tıklayın.

— solver149
kaynak

ℓ_{2}

$\ell_2$

β_{1} = 1

$\beta_1 = 1$

β_{1} = 0

$\beta_1 = 0$

L_{1}

$L_1$