Köprü cezası - Elastik Net düzenlenmesi

LASSO ( $L_1$ ) ve Ridge ( $L_2$ ) gibi bazı ceza fonksiyonları ve yaklaşımları iyi incelenmiştir ve bunların regresyonda nasıl karşılaştırıldığı.

$\sum \|\beta_{j}\|^{\gamma}$ $\gamma = 1$ $\gamma = 2$

Wenjiang [ 1 ], olduğunda Bridge cezasını karşılaştırdı , ancak olarak verilen LASSO ve Ridge cezalarının bir birleşimi olan Elastik Net Düzenlemesi ile bir karşılaştırma bulamadım. . $\gamma \geq 1$ $\sum \lambda_{2} \|\beta\|^{2}+\lambda_{1}\|\beta\|_{1}$

Bu ilginç bir soru çünkü Elastik Ağ ve bu özel Köprü benzer kısıtlama biçimlerine sahip. Bu birim çevreleri farklı ölçümleri kullanarak karşılaştırın ( , Minkowski mesafesinin gücüdür ): $p$

$p = 1$ , LASSO'ya, , Ridge'e ve , bir olası Köprüye karşılık gelir. Elastik Net, ve cezalarında eşit . Bu rakamlar, örneğin (Elastic Net LASSO'dan korurken Bridge'in açıkça sahip olmadığı) sparitiliği tanımlamak için kullanışlıdır. $p = 2$ $p = 1.4$ $L_1$ $L_2$

Öyleyse, olan Köprü, Elastic Net ile düzenlileşme (seyreklik dışında) ile nasıl karşılaştırılır? Denetimli öğrenmeye özel ilgi duyuyorum, bu yüzden belki de özellik seçimi / ağırlıklandırma ile ilgili bir tartışma uygundur. Geometrik argümantasyon da açığız. $1<\gamma <2$

Belki de, daha önemlisi, bu durumda Elastik Ağ her zaman daha çok istenen bir şey midir?

_{[1] Fu, WJ (1998). Cezalandırılmış gerilemeler: Kementle köprü. Hesaplamalı ve grafiksel istatistik dergisi, 7 (3), 397-416.}

EDIT: Bu soru var Hangi ceza ölçüsünün kullanılacağına nasıl karar verilir? yüzeysel olarak LASSO, Ridge, Bridge ve Elastic Net'ten bahseden herhangi bir genel kural ya da kural dışı kural , ancak bunları karşılaştırma girişimi yoktur.

— kundakçı
kaynak

Teğet ilgili, ancak eğer sadece

norm ceza katsayıları bağımsız Laplace olaya karışan bir Bayes regresyon MAP tahmindir ve

Gauss priors aynıdır Köprü ceza öncesinde Subbotin eşdeğer olup olmadığını merak ediyorum. .. stats.stackexchange.com/questions/201038/…

L_{1}

$L_1$

L_{2}

$L_2$

— Sycorax,

@RichardHardy, tüm başkentlerde kement yazma görmek gerek yoktur burada yorumumu .

— amip Reinstate Monica diyor

Köprü regresyonunun dışbükey olmayan bir regresyon sağlayan

izin verdiğini unutmayın . Bunlar, özellikle seyrek verilerden, ortak değişken grupları seçmeye çalışırken özellikle iyidir. Ya da genel olarak sen olur değişkenlerin grupları, önceden tanımlanmış olabilir

, böylece özel bir grubu, büyük düzene ve

kıtlık elde etmek için düzene tek grup katsayıları. Yani sen yazarsanız

, burada

γ < 1

$\gamma<1$

L^{2}

$L^2$

L^{1}

$L^1$

β = (a_{1}, \dots, a_{k})

$\beta=(a_1,\cdots,a_k)$

daha sonra yapabileceği

a_{i} = (β_{i_{1}}, β_{i_{2},}, \dots, β_{i_{r}})

$a_i=(\beta_{i_1},\beta_{i_2,},\cdots,\beta_{i_r})$

λ_{1} ‖ β ‖^{γ_{i}} + λ_{2} \sum_{i} ‖ a_{i} ‖^{ν_{i}}

$\lambda_1 \|\beta\|^{\gamma_i}+\lambda_2\sum_i \|a_i\|^{\nu_i}$

— Alex R.,

@AlexR. Aslında şunu açıkça belirtmeliyim:

. Bilmiyordum

de Köprü deniyordu.

γ \geq 1

$\gamma \geq 1$

γ < 1

$\gamma < 1$

— Firebug

@ amoeba, tamam, tamam. Normalde büyük harflerin kullanımın yazı boyunca tutarlı olup olmadığını düzenlemem ama bu sefer hem "LASSO" hem de "kement" vardı. Ben her zaman kısaltmayı düşünüyorum, bu yüzden tüm başkentleri kullandım; ama dediğiniz gibi, basit "kement" daha iyi olabilir.

— Richard Hardy,

Köprü regresyonu ve elastik ağın ne kadar farklı olduğu, benzer cezaları verildiğinde büyüleyici bir sorudur. İşte olası bir yaklaşım. Köprü regresyon problemini çözdüğümüzü varsayalım. Daha sonra elastik net çözümün nasıl farklı olacağını sorabiliriz. İki kayıp fonksiyonunun gradyanlarına bakmak bize bu konuda bir şeyler söyleyebilir.

Köprü regresyonu

Ki bağımsız değişkenin değerlerini içeren bir matris ( noktaları x , boyutları) bağımlı değişken değerlerini içeren bir vektördür ve Ağırlık vektörüdür. $X$ $n$ $d$ $y$ $w$

Kayıp fonksiyonu , büyüklüğü ile ağırlıkların normunu cezalandırır : $\ell_q$ $\lambda_b$

L_{b} (w) = ‖ y - X w ‖_{2}^{2} + λ_{b} ‖ w ‖_{q}^{q}

$L_b(w) = \| y - Xw\|_2^2 + \lambda_b \|w\|_q^q$

Kayıp fonksiyonunun gradyanı:

\nabla_{w} L_{b} (w) = - 2 X^{T} (y - X w) + λ_{b} q | w |^{\circ (q - 1)} sgn (w)

$\nabla_w L_b(w) = -2 X^T (y - Xw) + \lambda_b q |w|^{\circ(q-1)} \text{sgn}(w)$

O anlamına gelir, bir vektör sağlar Hadamard (yani öğeye) güç, inci elemandır . , işaret işlevidir ( her bir öğesine uygulanır). Degrade, bazı değerleri için sıfırda tanımsız olabilir. $v^{\circ c}$ $i$ $v_i^c$ $\text{sgn}(w)$ $w$ $q$

Elastik net

Kayıp fonksiyonu:

L_{e} (w) = ‖ y - X w ‖_{2}^{2} + λ_{1} ‖ w ‖_{1} + λ_{2} ‖ w ‖_{2}^{2}

$L_e(w) = \|y - Xw\|_2^2 + \lambda_1 \|w\|_1 + \lambda_2 \|w\|_2^2$

Bu cezalandıran büyüklükle ağırlıkların norm ve büyüklüğü ile norm . Elastik ağ kağıdı, bu kaybı en aza indirgemeyi gerektirir 'saf elastik ağ' çünkü ağırlıkları iki kat küçültür. İkili büzülmeyi telafi etmek için ağırlıkların daha sonra yeniden ölçeklendirildiği gelişmiş bir prosedür açıklar, ancak ben sadece naif versiyonunu analiz edeceğim. Akılda tutulması gereken bir uyarı. $\ell_1$ $\lambda_1$ $\ell_2$ $\lambda_2$

Kayıp fonksiyonunun gradyanı:

\nabla_{w} L_{e} (w) = - 2 X^{T} (y - X w) + λ_{1} sgn (w) + 2 λ_{2} w

$\nabla_w L_e(w) = -2 X^T (y - Xw) + \lambda_1 \text{sgn}(w) + 2 \lambda_2 w$

Degrade olduğunda sıfırda tanımsızdır, çünkü al mutlak değer orada ayırt edilemez. $\lambda_1 > 0$ $\ell_1$

yaklaşım

Biz ağırlıkları seçmek Say köprü regresyon sorunu çözmek. Bu, köprü regresyon gradyanının bu noktada sıfır olduğu anlamına gelir: $w^*$

\nabla_{w} L_{b} (w^{*}) = - 2 X^{T} (y - X w^{*}) + λ_{b} q | w^{*} |^{\circ (q - 1)} sgn (w^{*}) = \vec{0}

$\nabla_w L_b(w^*) = -2 X^T (y - Xw^*) + \lambda_b q |w^*|^{\circ (q-1)} \text{sgn}(w^*) = \vec{0}$

Bu nedenle:

2 X^{T} (y - X w^{*}) = λ_{b} q | w^{*} |^{\circ (q - 1)} sgn (w^{*})

$2 X^T (y - Xw^*) = \lambda_b q |w^*|^{\circ (q-1)} \text{sgn}(w^*)$

Biz elastik ağ gradyan için bir ifade için, elastik ağ gradyanı içine bu yerini alabilir . Neyse ki, artık doğrudan verilere bağlı değil: $w^*$

\nabla_{w} L_{e} (w^{*}) = λ_{1} sgn (w^{*}) + 2 λ_{2} w^{*} - λ_{b} q | w^{*} |^{\circ (q - 1)} sgn (w^{*})

$\nabla_w L_e(w^*) = \lambda_1 \text{sgn}(w^*) + 2 \lambda_2 w^* -\lambda_b q |w^*|^{\circ (q-1)} \text{sgn}(w^*)$

Elastik net gradyan baktığımızda söyler: Köprü regresyon ağırlıklarına birleşip göz önüne alındığında , elastik net Talep bu ağırlıkları değiştirmek nasıl? $w^*$ $w^*$

Bize istenen değişimin lokal yönünü ve büyüklüğünü verir, çünkü gradyan en dik çıkış yönündeki noktaları ve kayıp fonksiyonu degradenin karşısındaki yönde hareket ettikçe azalır. Degrade doğrudan elastik net çözeltisine işaret etmeyebilir. Ancak, elastik ağ kaybı fonksiyonu dışbükey olduğundan, yerel yön / büyüklük elastik ağ çözümünün köprü regresyon çözümünden nasıl farklı olacağı hakkında bazı bilgiler verir .

Durum 1: Sağlık kontrolü

( ). Bu durumda köprü regresyonu normal en küçük karelere (OLS) eşdeğerdir, çünkü ceza büyüklüğü sıfırdır. Çünkü sadece elastik net eşdeğer sırt gerileme normu cezalandırılır. Aşağıdaki grafikler farklı köprü regresyon çözümleri ve elastik ağ gradyanının her biri için nasıl davrandığını göstermektedir. $\lambda_b = 0, \lambda_1 = 0, \lambda_2 = 1$ $\ell_2$

Sol arsa: Her boyut boyunca elastik net gradyan vs. köprü regresyon ağırlığı

X ekseni bulunan bir dizi ağırlıktan bir bileşenini temsil köprü regresyon ile seçildi. Y ekseni değerlendirildi elastik ağ gradyanı karşılık gelen bir bileşenidir . Ağırlıkların çok boyutlu olduğunu unutmayın, ancak yalnızca tek bir boyut boyunca ağırlıklara / degradelere bakıyoruz. $w^*$ $w^*$

Sağ komplo: Köprü gerileme ağırlıklarında elastik net değişiklikler (2d)

Her nokta 2d ağırlıkları grubunu temsil eder köprü regresyon ile seçildi. Her bir seçimi için , bir vektör gradyanı ile orantılı büyüklüğü ile, elastik ağ gradyanı ters yöne bakan çizilir. Yani, çizilen vektörler elastik ağın köprü regresyon çözümünü nasıl değiştirmek istediğini göstermektedir. $w^*$ $w^*$

Bu grafikler, köprü gerilemesiyle (bu durumda OLS) karşılaştırıldığında elastik ağın (bu durumda sırt gerilimi) ağırlıkları sıfıra çekmek istediğini göstermektedir. İstenilen büzülme miktarı, ağırlıkların büyüklüğü ile artar. Ağırlıklar sıfırsa, çözümler aynıdır. Yorum, kayıp fonksiyonunu azaltmak için degradenin karşısındaki yönde hareket etmek istediğimizdir. Örneğin, köprü gerilemesinin ağırlıklardan biri için pozitif bir değere yaklaştığını varsayalım. Bu noktada elastik ağ gradyanı pozitiftir, bu nedenle elastik ağ bu ağırlığı azaltmak ister. Degrade iniş kullanıyorsanız, degradeyle orantılı olarak adımlar atarız (tabii ki, sıfıra farklılaşamadığından elastik ağı çözmek için teknik olarak degrade iniş kullanamayız.

Durum 2: Eşleşen köprü ve elastik ağ

( ). Sorudan örnekle uyuşması için köprü ceza parametrelerini seçtim. En iyi eşleşen elastik net ceza vermek için elastik net parametreleri seçtim. Burada, ağırlıkların belirli bir dağılımı göz önüne alındığında, en iyi eşleşen araçlar, köprü ve elastik net cezalar arasında beklenen kare farkını en aza indiren elastik net ceza parametrelerini buluyoruz: $q = 1.4, \lambda_b = 1, \lambda_1 = 0.629, \lambda_2 = 0.355$

min_{λ_{1}, λ_{2}} E [(λ_{1} ‖ w ‖_{1} + λ_{2} ‖ w ‖_{2}^{2} - λ_{b} ‖ w ‖_{q}^{q})^{2}]

$\min_{\lambda_1, \lambda_2} \enspace E \left [ ( \lambda_1 \|w\|_1 + \lambda_2 \|w\|_2^2 - \lambda_b \|w\|_q^q )^2 \right ]$

Burada, 'deki düzgün dağılımdan atılan tüm girişlerin ağırlıklarını düşündüm (yani orijin merkezindeki bir hiperküp içinde). En iyi eşleşen elastik net parametreleri 2 ila 1000 boyut için benzerdi. Boyutlara duyarlı gibi görünmese de, en iyi eşleşen parametreler dağılımın ölçeğine bağlıdır. $[-2, 2]$

Ceza yüzeyi

$q=1.4, \lambda_b=100$ $\lambda_1 = 0.629, \lambda_2 = 0.355$

Gradyan davranışı

Aşağıdakileri görebiliriz:

$w^*_j$ $j$
$|w^*_j|< 0.25$
$|w^*_j| \approx 0.25$
$0.25 < |w^*_j| < 1.31$
$|w^*_j| \approx 1.31$
$|w^*_j| > 1.31$

$q$ $\lambda_b$ $\lambda_1, \lambda_2$

Durum 3: Uyumsuz köprü ve elastik ağ

$(q=1.8, \lambda_b=1, \lambda_1=0.765, \lambda_2 = 0.225)$ $\lambda_1, \lambda_2$ $\ell_1$ $\ell_2$

Köprü regresyonuna kıyasla, elastik ağ küçük ağırlıkları sıfıra çekmek ve daha büyük ağırlıkları artırmak istiyor. Köprü regresyonu ve elastik ağ çözümlerinin çakıştığı her kadranda tek bir ağırlık takımı vardır, ancak elastik ağlar bu ağırlıktan biraz farklı olsalar da bu noktadan uzaklaşmak ister.

$(q=1.2, \lambda_b=1, \lambda_1=173, \lambda_2 = 0.816)$ $\ell_1$ $q > 1$ $\lambda_1, \lambda_2$ $\ell_2$ daha büyük ceza $\ell_1$ ceza).

Köprü regresyonuna kıyasla, elastik ağ küçük ağırlıklar büyütmek ve daha büyük ağırlıkları küçültmek istiyor. Her kadranda, köprü regresyonunun ve elastik ağ çözümlerinin çakıştığı ve elastik ağın komşu noktalardan bu ağırlıklara doğru hareket etmek istediği bir nokta var.

— user20160
kaynak

(+1) Harika cevap, çaba için teşekkürler! Son bir şeye değinir misiniz: "Elastik Ağ her zaman daha çok arzu edilir mi?". Uzun olmaya gerek yok;

— Firebug

Köprü regresyonu ve elastik ağ, ağırlıklarda farklı öncelikleri olan MAP tahminine eşdeğerdir. Bu açıdan bakıldığında, veri üretme süreciyle daha iyi eşleşen önceliğin daha iyi olacağı ve her iki yöntemin de her durumda daha iyi olamayacağı görülüyor.

— user20160

+6, çok güzel cevap. Yukarıdaki yorumunuzla ilgili olarak: Hangi köprü köprüsünde gerileme yaşanır? Gaussian'ın kementten önce sırt ve Laplace'ye tekabül ettiğini biliyorum. Biri elastik ağa karşılık gelen bir şey elde etmek için bu önceleri birleştirebilir mi?

— amip diyor Reinstate Monica

@ amoeba Soru bana yöneltilmedi, biliyorum, ancak GeneralAbrial'in sorduğu gibi, köprü muhtemelen daha önce bir Subbotin'e karşılık geliyor. Elastik ağ, beklendiği gibi, Gaussian ve Laplacian önceleri arasındadır. Bakınız Li, Q., ve Lin, N. (2010). Bayesian esnek ağı. Bayesian Analizi, 5 (1), 151-170. ve Zou, H. ve Hastie, T. (2005). Düzenlileştirme ve elastik ağ üzerinden değişken seçimi. Kraliyet İstatistik Kurumu Dergisi: B Serisi (İstatistiksel Metodoloji), 67 (2), 301-320. elastik ağ ve köprü regresyon arasındaki kısa bir karşılaştırma için.

— Firebug

@ amoeba, bu yazıya verilen ödül ve dikkat için teşekkür eder, aynı şekilde PCA ve doğrusal olmayan boyutsallığı azaltma hakkındaki diğer yazı için. Temsilcinizi başkalarının sorularını / cevaplarını tanıtmak için kullanmanız hayranlık uyandırıcıdır ve bu yazının insanlar için en azından küçük bir değere sahip olması beni mutlu ediyor. Diğerleri, kibar sözler için de teşekkürler.

— user20160