Kement ve adaptif Kement Karşılaştırması

LASSO ve uyarlanabilir LASSO iki farklı şey, değil mi? (Bana göre cezalar farklı görünüyor, ama sadece bir şeyleri özleyip özlemediğimi kontrol ediyorum.)

Genelde elastik ağ hakkında konuştuğunuzda, özel durum LASSO veya uyarlanabilir LASSO mu?

Alpha = 1'i seçmeniz koşuluyla glmnet paketi hangisini yapar?

Uyarlanabilir LASSO daha ılımlı koşullarda çalışır, değil mi? Her ikisi de uygun verilerde oracle özelliğine sahiptir, değil mi?

— Bay Doğrulama
kaynak

Yanıtlar:

Sorularınıza kısa cevaplar:

Kement ve uyarlamalı kement farklıdır. ( Uyarlanabilir kementin standart kementten nasıl farklı olduğunu görmek için Zou'ya (2006) bakın.)
Kement, elastik ağın özel bir halidir. (Bkz. Zou & Hastie (2005) .)
Uyarlanabilir kement, elastik ağın özel bir durumu değildir.
Elastik ağ özel bir kement veya uyarlanabilir kement durumu değildir.
glmnetR'deki "glmnet" paketindeki işlev için kement (uyarlamalı kement değil) gerçekleştirir alpha=1.
Kement, uyarlanabilir kementten daha hafif koşullarda çalışır mı? Buna cevap veremem ( Zou'yu (2006) içgörüleri kontrol etmeli ).
Yalnızca adaptif kement (kement veya elastik ağ değil) kâhin özelliğine sahiptir. (Bakınız Zou (2006) .)

Referanslar:

Zou, Hui. "Uyarlamalı kement ve kehanet özellikleri." Amerikan İstatistik Kurumu 101.476 (2006): 1418-1429.
Zou, Hui ve Trevor Hastie. "Elastik ağ üzerinden düzenli ve değişken seçim." Kraliyet İstatistik Kurumu Dergisi: B Serisi (İstatistiksel Metodoloji) 67.2 (2005): 301-320.

— Richard Hardy
kaynak

LASSO çözümleri en aza indiren çözümlerdir

S (β | X, y) = \frac{1}{2 n} | | y - X β | |^{2} + λ \underset{j}{Σ} | β_{j} |

$Q(\beta|X,y) = \dfrac{1}{2n}||y-X\beta||^2 + \lambda\sum_{j}|\beta_j|$

uyarlanabilir kement, Liaso tahminlerinin önyargılı olduğu bilinen sayısına karşı koymak için buna ağırlık ekler.

S_{bir} (β | X, y, w) = \frac{1}{2 n} | | y - X β | |^{2} + λ \underset{j}{Σ} w_{j} | β_{j} |

$Q_a(\beta|X,y,w) = \dfrac{1}{2n}||y-X\beta||^2 + \lambda\sum_{j}w_j|\beta_j|$

$w_j = 1/\tilde{\beta}_j$ $\tilde{\beta}_j$ $\beta$ $\lambda$

w_{j} (λ) = w ({\tilde{β}}_{j} (λ))

$w_j(\lambda) = w(\tilde{\beta}_j(\lambda))$

glmnet

$\texttt{glmnet}$

penalty.factor

$\texttt{penalty.factor}$

glmnet

$\texttt{glmnet}$

— bdeonovic
kaynak

Ceza şartlarında mutlak değerler almayı unuttunuz.

— Richard Hardy

| β |^{γ}

$| \beta |^{\gamma}$

γ

$\gamma$

β

$\beta$

Temel olarak, glmnet varsayılan olarak LASSO veya elastik ağ gerçekleştirir, ancak uygun ağırlıkları belirleyerek bunu adaptif LASSO'ya (veya EN) dönüştürebilirsiniz? Bu durumda, bir milyon teşekkürler!

— Bay Validation

@MrValidation, uyarlanabilir kement gibi yeni yöntemlerin yazarlarının web sitelerinde yöntem için kodları olabileceğini unutmayın (bazen sadece kendilerinin yazdıkları bir R paketine referans verirler).

— Richard Hardy

Bence glmnet'teki ağırlıklar argümanı, ceza ağırlıkları değil, gözlem ağırlıkları anlamına geliyor

— jmb

Uyarlanabilir LASSO, tutarlı değişken seçimi için kullanılır. Değişken seçimi için LASSO kullanılırken karşılaştığımız sorunlar:

Büzülme parametresi seçim için tahminden daha büyük olmalıdır
Büyük sıfır olmayan parametreler çok küçük olacaktır, böylece sapma çok büyük olur
Küçük sıfır olmayan parametreler tutarlı bir şekilde algılanamıyor
Tahminciler arasındaki yüksek korelasyonlar düşük seçim performansına yol açar

Bu nedenle LASSO sadece büzülme parametresi, parametreler (beta-min koşulu) ve korelasyonlar (yeniden temsil edilemez durum) üzerindeki bazı koşullar altında değişken seçim için tutarlıdır. Master tezimin 101-106. Sayfalarına bakın bir açıklama için .

LASSO, tahmin için ayar parametresini seçerken genellikle çok fazla değişken içerir, ancak gerçek model büyük olasılıkla bu değişkenlerin bir alt kümesidir. Bu, tahmin-optimal ayarlama parametresini kullanarak LASSO tahmininin sapmasını kontrol eden uyarlanabilir LASSO gibi ikincil bir tahmin aşamasının kullanılmasını önerir. Bu, yukarıda belirtilen koşullar olmadan tutarlı seçime (veya oracle özelliğine) yol açar.

Uyarlanabilir LASSO için glmnet kullanabilirsiniz. İlk olarak, ağırlıkları hesaplamak için en küçük kareler, sırt veya hatta LASSO tahminleri gibi bir ilk tahmine ihtiyacınız vardır. Daha sonra X matrisini ölçekleyerek uyarlamalı LASSO uygulayabilirsiniz. Aşağıda, egzersiz verilerine ilişkin en küçük karelerin ilk tahminlerini kullanan bir örnek verilmiştir:

# get data
y <- train[, 11]
x <- train[, -11]
x <- as.matrix(x)
n <- nrow(x)

# standardize data
ymean <- mean(y)
y <- y-mean(y)  
xmean <- colMeans(x)
xnorm <- sqrt(n-1)*apply(x,2,sd)
x <- scale(x, center = xmean, scale = xnorm)

# fit ols 
lm.fit <- lm(y ~ x)
beta.init <- coef(lm.fit)[-1] # exclude 0 intercept

# calculate weights
w  <- abs(beta.init)  
x2 <- scale(x, center=FALSE, scale=1/w)  

# fit adaptive lasso
require(glmnet)
lasso.fit <- cv.glmnet(x2, y, family = "gaussian", alpha = 1, standardize = FALSE, nfolds = 10)
beta <- predict(lasso.fit, x2, type="coefficients", s="lambda.min")[-1]

# calculate estimates
beta <- beta * w / xnorm # back to original scale
beta <- matrix(beta, nrow=1)
xmean <- matrix(xmean, nrow=10)
b0 <- apply(beta, 1, function(a) ymean - a %*% xmean) # intercept
coef <- cbind(b0, beta)

— StatGrrl
kaynak