Can

11

Eğer , can artış zamanartar? $\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1$ $\|\beta^*\|_2$ $\lambda$

Bunun mümkün olduğunu düşünüyorum. Her ne kadar zaman artmaz artar (benim geçirmez ), artırabilir. Aşağıdaki şekilde bir olasılık gösterilmektedir. Zaman yükselirse, seyahatlerdir (doğrusal) için , daha sonra artar ise azalır. Ama nasıl somut bir örnek oluşturacağımı bilmiyorum (yani, ve $\|\beta^*\|_1$ $\lambda$ $\|\beta^*\|_2$ $\lambda$ $\beta^*$ $P$ $Q$ $\|\beta^*\|_2$ $\|\beta^*\|_1$ $X$ $y$ ), böylece profili bu davranışı gösterir. Herhangi bir fikir? Teşekkür ederim. $\beta^*$

resim açıklamasını buraya girin

lasso

— ziyuang
kaynak

10

Cevap evet ve orada grafik bir kanıt var. $\ell_2$

‖ x ‖_{2} \leq ‖ x ‖_{1} \leq \sqrt{n} ‖ x ‖_{2},

$\|x\|_2 \leq \|x\|_1 \leq \sqrt{n}\|x\|_2,$

n

$n$

x

$x$

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$

Aslında, çözmek istediğiniz sorun şu şekilde ifade edilebilir:

$d$

‖ x + d ‖_{2} > ‖ x ‖_{2}

$\|x + d\|_2 > \|x\|_2$

‖ x + d ‖_{1} < ‖ x ‖_{1} .

$\|x + d\|_1 < \|x\|_1.$

2 \sum_{i} x_{i} d_{i} > - \sum_{i} d_{i}^{2}

$2\sum_i x_id_i > -\sum_i d_i^2$

x_{i} \geq 0

$x_i\geq0$

x_{i} + d_{i} \geq 0

$x_i+d_i\geq0$

\sum_{i} d_{i} < 0.

$\sum_i d_i < 0.$

d

$d$

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$

$d\approx[-0.4, 0.3]^T$ $x:=P\approx[0.5, 0.6]^T$

\sum_{i} d_{i} \approx - 0.1 < 0,

$\sum_i d_i\approx-0.1<0,$

2 \sum_{i} P_{i} d_{i} \approx - 0.04 > - 0.25 \approx - \sum_{i} d_{i}^{2} .

$2\sum_i P_id_i\approx-0.04 > -0.25 \approx -\sum_i d_i^2.$

— Tommy L
kaynak

X

$X$

y

$y$

3

$X$ $y$ $\lambda$ $\|\beta^*\|_2$ $\beta^*_i$ $X$

β_{i}^{*} = s i g n (β_{i}^{L S}) (β_{i}^{L S} - λ)_{+}

$\beta^*_i=\mathrm{sign}(\beta_i^{\mathrm{LS}})(\beta_i^{\mathrm{LS}}-\lambda)_+$

$\beta^*$ $\ell_1$ $\|\beta^*\|_2$

Aslında Hastie ve ark. Kağıt geçen ileri etaplara regresyon ve sürükleyerek monoton , profil yollarının monotonicity gerekli ve yeterli bir durumda:

resim açıklamasını buraya girin

Makalenin 6. Bölümünde, monotonikliği gösteren, yukarıdaki koşulu ihlal eden parçalı doğrusal temel fonksiyonlara dayanan yapay bir veri seti oluşturdular. Ancak şansımız varsa, benzer davranışı ancak daha basit bir şekilde gösteren rastgele bir veri kümesi de oluşturabiliriz. İşte benim R kodu:

library(glmnet)
set.seed(0)
N <- 10
p <- 15
x1 <- rnorm(N)
X <- mat.or.vec(N, p)
X[, 1] <- x1
for (i in 2:p) {X[, i] <- x1 + rnorm(N, sd=0.2)}
beta <- rnorm(p, sd=10)
y <- X %*% beta + rnorm(N, sd=0.01)
model <- glmnet(X, y, family="gaussian", alpha=1, intercept=FALSE)

$X$ $\beta$ $\beta^*$

resim açıklamasını buraya girin

$\lambda$ $\|\beta^*\|_2$

resim açıklamasını buraya girin

$\lambda$ $\|\beta^*\|_2$ $\lambda$

— ziyuang
kaynak