Glmnet neden Zou & Hastie orijinal belgesinde "naif" elastik ağ kullanıyor?

Orijinal elastik ağ kağıdı Zou & Hastie (2005) Doğrusal regresyon için elastik ağ üzerinden yapılan elastik ağ üzerinden düzenlileştirme ve değişken seçimi (burada tüm değişkenlerin merkezlenmiş ve birim varyansa ölçeklendirildiğini varsayarım): ancak buna "saf elastik ağ" denir. İkili büzülme (kement ve çıkıntı) gerçekleştirdiğini, fazla büzülme eğiliminde olduğunu ve elde edilen çözeltiyi şu şekilde yeniden ölçeklendirerek iyileştirilebileceğini savundu: Bunun daha iyi performansa yol açtığına dair bazı teorik argümanlar ve deneysel kanıtlar verdiler.

L = \frac{1}{n} ‖ y - X β ‖^{2} + λ_{1} ‖ β ‖_{1} + λ_{2} ‖ β ‖_{2}^{2},

$\mathcal L = \frac{1}{n}\big\lVert y - X\beta\big\rVert^2 + \lambda_1\lVert \beta\rVert_1 + \lambda_2 \lVert \beta\rVert^2_2,$

{\hat{β}}^{*} = (1 + λ_{2}) \hat{β} .

$\hat\beta^* = (1+\lambda_2)\hat\beta.$

Bununla birlikte, sonraki glmnetmakale Friedman, Hastie ve Tibshirani (2010) Genelleştirilmiş doğrusal modeller için koordinat inişiyle düzenli hale getirme yolları bu yeniden ölçeklemeyi kullanmadı ve sadece kısa bir dipnotu vardı.

Zou ve Hastie (2005) bu cezayı saf elastik ağ olarak adlandırdılar ve elastik ağ olarak adlandırdıkları yeniden ölçeklendirilmiş bir versiyonu tercih ettiler. Bu ayrımı buraya bırakıyoruz.

Orada başka bir açıklama yapılmamıştır (ya da Hastie ve arkadaşlarının herhangi birinde ders kitaplarında). Biraz şaşırtıcı buluyorum. Yazarlar terk etti onlar da bunu kabul çünkü dışarı rescaling ad hoc ? Bazı deneylerde daha kötü performans gösterdiği için? çünkü GLM vakasına nasıl genelleştirileceği belli değildi? Hiç bir fikrim yok. Ancak, her durumda, glmnetpaket o zamandan beri çok popüler oldu ve bu yüzden benim izlenimim, bugünlerde hiç kimsenin Zou ve Hastie'den gelen kireçlendirmeyi kullanmadığı ve çoğu insanın muhtemelen bu ihtimalden haberdar olmadığı.

Soru: Sonuçta, bu iyi bir fikir mi yoksa kötü bir fikir mi yeniden ölçeklendirdi?

İle glmnetparametreleriyle, Zhou ve Hastie yeniden ölçeklendirme olmalıdır

{\hat{β}}^{*} = (1 + λ (1 - α)) \hat{β} .

$\hat\beta^* = \big(1+\lambda(1-\alpha)\big)\hat\beta.$

— amip Reinstate Monica diyor
kaynak

Pırıltı kağıdında, amaç tüm düzenlileştirme yoluna uymak olduğu için, muhtemelen fikir, yeniden ölçeklendirmenin sadece yolun monotonik bir dönüşümü olacağıdır?

— Matthew Drury

@MatthewDrury Bu doğru, ancak Friedman ve ark. yeniden ölçeklendirmenin iyi bir fikir olduğuna inanıyordu, bunu kağıttan ve özellikle de glmnetkodun dışında bırakmayacaklardı . Opsiyonel bir özellik olarak bile mevcut değil (2005 makalesine eşlik eden önceki kodları elbette yeniden ölçeklendirmeyi destekliyor).

— amip diyor Reinstate Monica

Maalesef, genel glmnet kodu tamamen okunamıyor ...

— Matthew Drury

Bu soruyu Zou'ya ve Hastie'ye e-postayla gönderdim ve Hastie'den şu cevabı aldım (umarım burada alıntı yapmamı istemezdi):

Zou ve arkadaşlarının ek önyargı konusunda endişeliydik, ancak elbette yeniden ölçeklendirmenin varyansı artırdığını düşünüyorum. Bu yüzden sadece bir sapma varyansı tradeoff eğrisi boyunca kaydırır. Yakında, daha iyi bir yeniden ölçeklendirme şekli olan gevşemiş kementin bir versiyonunu da ekleyeceğiz.

Bu sözleri vanilya elastik net çözümünün bir miktar "yeniden ölçeklendirilmesi" nin bir onaylaması olarak yorumluyorum , ancak Hastie artık Zou & Hastie 2005'te öne sürülen özel yaklaşımın yanında durmuyor gibi görünmüyor.

Aşağıda, birkaç ölçeklendirme seçeneğini kısaca gözden geçirip karşılaştıracağım.

glmnetKaybın parametreleştirilmesini kullanacağım Çözüm olarak gösterilen .

L = \frac{1}{2 n} ‖ y - β_{0} - X β ‖^{2} + λ (α ‖ β ‖_{1} + (1 - α) ‖ β ‖_{2}^{2} / 2),

$\mathcal L = \frac{1}{2n}\big\lVert y - \beta_0-X\beta\big\rVert^2 + \lambda\big(\alpha\lVert \beta\rVert_1 + (1-\alpha) \lVert \beta\rVert^2_2/2\big),$

\hat{β}

$\hat\beta$

Zou & yaklaşımıBunun, , büyük olasılıkla pek bir anlam ifade etmediğinde saf sırt için önemsiz olmayan bir yeniden ölçeklendirme verdiğini unutmayın. Öte yandan, literatürde kement tahmincisinin bazı yeniden ölçeklendirmeden fayda sağlayabileceği çeşitli iddialara rağmen, olduğunda, saf kement için herhangi bir yeniden ölçeklendirme yapılmamaktadır (aşağıya bakınız).
${\hat{β}}_{yeniden ölçeklendirilmiş} = (1 + λ (1 - α)) \hat{β} .$ $\hat\beta_\text{rescaled} = \big(1+\lambda(1-\alpha)\big)\hat\beta.$ $\alpha=0$ $\alpha=1$
Saf kement için, Tibshirani kement-OLS hibritini kullanmayı, yani Kement tarafından seçilen kestiricilerin alt kümesini kullanarak OLS tahmincisini kullanmayı önerdi. Bu, tahmin ediciyi tutarlı kılar (ancak beklenen hatayı artırabilecek büzülmeyi geri alır). Biri elastik ağ için aynı yaklaşımı kullanabilir, fakat potansiyel sorun elastik ağın seçebilmesidir. öngörücüsünden daha fazlası ve OLS parçalanacaktır (aksine, saf kement hiçbir zaman öngörücüsünden fazlasını seçmez).
${\hat{β}}_{Elastik-ol-hibrid} = EKK (X_{ben} | {\hat{β}}_{ben} \neq 0)$ $\hat\beta_\text{elastic-OLS-hybrid}= \text{OLS}(X_i\mid\hat\beta_i\ne 0)$ $n$ $n$
Kement rahat yukarıda alıntılanan HASTIE en e-postada belirtilen ilk kementiyle tarafından seçilen belirteçlerinin alt kümesi üzerinde başka kement çalıştırmak için bir öneridir. Buradaki fikir iki farklı ceza kullanmak ve her ikisini de çapraz doğrulama yoluyla seçmek . Biri aynı fikri elastik ağa da uygulayabilir, ancak bu dört farklı düzenlileştirme parametresi gerektiriyor ve bunları ayarlamak kabus gibi görünüyor.

Daha basit ve rahat bir elastik net şeması öneriyorum : elde ettikten sonra , seçilen yordayıcı alt kümesinde ve aynı ile regresyon gerçekleştirin :Bu (a) herhangi bir ek düzenlileştirme parametresi gerektirmez, (b) seçilen herhangi bir belirleyici için çalışır ve (c) biri saf çıkıntı ile başlarsa hiçbir şey yapmaz. Bana uyar. $\hat\beta$ $\alpha=0$ $\lambda$
${\hat{β}}_{rahat elastik net} = sırt (X_{ben} | {\hat{β}}_{ben} \neq 0) .$ $\hat\beta_\text{relaxed-elastic-net}= \text{Ridge}(X_i\mid\hat\beta_i\ne 0).$

Şu anda ve olan küçük bir veri kümesi ile çalışıyorum , burada , birkaç önde gelen PC'si tarafından iyi tahmin edilmektedir . 100x tekrarlanan 11 kat çapraz doğrulama kullanarak yukarıdaki tahmin edicilerin performansını karşılaştıracağım. Bir performans ölçütü olarak, R-karesi gibi bir şey verecek şekilde normalleştirilmiş test hatası kullanıyorum:Aşağıdaki şekilde, kesik çizgiler vanilya elastik net tahmincisi ve üç alt nokta üç ölçeklendirme yaklaşımına karşılık gelir: $n\ll p$ $n=44$ $p=3000$ $y$ $X$

{R,}_{Ölçek}^{2} = 1 - \frac{‖ y_{Ölçek} - {\hat{β}}_{0} - X_{Ölçek} \hat{β} ‖^{2}}{‖ y_{Ölçek} - {\hat{β}}_{0} ‖^{2}} .

$R^2_\text{test} = 1-\frac{\lVert y_\text{test} - \hat\beta_0 - X_\text{test}\hat\beta\rVert^2}{\lVert y_\text{test} - \hat\beta_0\rVert^2}.$

\hat{β}

$\hat\beta$

Bu nedenle, en azından bu verilerde, her üç yaklaşım da vanilya elastik ağ tahmincisinden daha iyi performans gösterir ve "gevşemiş elastik ağ" en iyisini yapar.

— amip Reinstate Monica diyor
kaynak