Lasso cezası neden iki kat üstel (Laplace) ile eşdeğerdir?

27

I regresyon parametre vektör Lasso Tahmin, referans bir dizi okuma posterior moduna karşılık gelir her biri için önceden dağılımı olan (aynı zamanda Laplace dağılımı olarak da bilinir), bir çift üstel dağılımıdır. $B$ $B$ $B_i$

Bunu kanıtlamaya çalışıyorum, birisi detayları çözebilir mi?

— Wintermute
kaynak

@ user777 Bir süredir o kitabı okudum. İlgili bir şey bulunamadı.

— Wintermute

3

İlgili: stats.stackexchange.com/questions/177210/…

— Tim

30

Basit olması için , değişkeninin değişken bir gözlemini düşünelim ; $Y$

Y | μ, σ^{2} \sim N (μ, σ^{2}),

$Y|\mu, \sigma^2 \sim N(\mu, \sigma^2),$

$\mu \sim \mbox{Laplace}(\lambda)$ ve uygunsuz önceki . $f(\sigma) \propto \mathbb{1}_{\sigma>0}$

Daha sonra ortak yoğunluğu ile orantılı olan $Y, \mu, \sigma^2$

f (Y, μ, σ^{2} | λ) \propto \frac{1}{σ} \exp (- \frac{(y - μ)^{2}}{σ^{2}}) \times 2 λ e^{- λ | μ |} .

$f(Y, \mu, \sigma^2 | \lambda) \propto \frac{1}{\sigma}\exp \left(-\frac{(y-\mu)^2}{\sigma^2} \right) \times 2\lambda e^{-\lambda \vert \mu \vert}.$

Bir günlük almak ve , içermeyen terimleri silmek $\mu$

\log f (Y, μ, σ^{2}) = - \frac{1}{σ^{2}} ‖ y - μ ‖_{2}^{2} - λ | μ | . (1)

$\log f(Y, \mu, \sigma^2) = -\frac{1}{\sigma^2} \Vert y-\mu\Vert_2^2 -\lambda \vert \mu \vert. \quad (1)$

Bu nedenle, (1) 'in maksimum değeri bir MAP tahmini olacaktır ve gerçekten yeniden karşılaştırdıktan sonra Kement problemidir $\tilde \lambda = \lambda \sigma^2$ .

Regresyona verilen uzatma açıktır - Normal olasılıkta ile değiştirin ve önceliğini beta'da bağımsız bir laplace dağılım dizisi olarak ayarlayın . $\mu$ $X\beta$ $\beta$ $(\lambda)$

— Andrew M
kaynak

25

Bu, LASSO'nun optimize ettiği miktarın incelenmesiyle açıktır.

nin bağımsız sıfır olması için alın; ortalama sıfır ve bir miktar . $\beta_i$ $\tau$

Öyleyse . $p(\beta|\tau) \propto e^{-\frac{1}{2\tau} \sum_i|\beta_i|}$

Verinin modeli normal regresyon varsayımı . $y \stackrel{\text{iid}}{\sim}N(X\beta,\sigma^2)$

$f(\mathbf{y}|\mathbf{X},\boldsymbol\beta,\sigma^{2}) \propto (\sigma^{2})^{-n/2} \exp\left(-\frac{1}{2{\sigma}^{2}}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)\right)$

Şimdi eksi iki kere posterin logu formdadır.

$k(\sigma^2,\tau,n,p)+$ $\frac{1}{{\sigma}^{2}} (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \frac{1}{\tau} \sum_i|\beta_i|$

Let ve elde arasında -posterior $\lambda=\sigma^2/\tau$ $-2\log$

$k(\sigma^2,\lambda,n,p)+$ $\frac{1}{{\sigma}^{2}}\left[ (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|\right]$

için MAP tahmincisi yukarıdakileri en aza indirir; $\beta$

$S=(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|$

Yani için MAP tahmincisi LASSO. $\beta$

(Burada 'yi etkili bir şekilde düzelttim ancak başka şeyler de yapabilir ve yine de LASSO'yu çıkarabilirsiniz.) $\sigma^2$

Düzenleme: Bir çizgi kapalı cevap oluşturmak için bu alırım; Andrew tarafından zaten iyi bir cevap geldiğini görmedim. Benimki gerçekten yapmadığı hiçbir şeyi yapmıyor. Şimdilik benimkini bırakacağım çünkü bu gelişme konusunda birkaç ayrıntı daha veriyor . $\beta$

— Glen_b -Reinstate Monica
kaynak

1

Cevabınızda ve Andrew'da bir fark var gibi görünüyor. Cevabınız düzenleyicinin doğru biçimine sahip: , Andrew iseBurada, doğrusal regresyonda, .

λ ‖ β ‖_{1}

$\lambda \|\beta\|_1$

λ | μ |

$\lambda |\mu|$

μ = X β

$\mu=X\beta$

— Alex R.,

2

@AlexR Ben Andrew'un cevabında mis yanlış yorumladığını düşünüyorum. Μ sadece bir kesişme olan bir regresyonda bir karşılık gelir, bir regresyonda değil ; Aynı argüman büyük vaka için de geçerlidir (cevabımdaki paralelliklere dikkat edin) ancak basit durumda takip etmek daha kolaydır. Andrew’un cevabı esasen doğrudur, ancak bütün noktaları orijinal soruya bağlamaz, okuyucunun doldurması için küçük bir miktar bırakır. ve o tamamen

β_{0}

$\beta_0$

X β

$X\beta$

— keneyi