Kement, sırt veya elastik ağ çözelti yollarının monoton olduğu açık bir dizi koşul var mı?

18

Bu kement grafiğinden (glmnet) çıkarılacak soru , kement tahmin edicisinin monotonik olmayan çözüm yollarını gösterir. Yani, bazı katsayılar küçülmeden önce mutlak değerde büyürler.

Bu modelleri birkaç farklı veri setine uyguladım ve bu davranışı "vahşi doğada" hiç görmedim ve bugüne kadar her zaman monotonik olduklarını varsaymıştım .

Çözelti yollarının monoton olduğu garanti edilen açık bir dizi koşul var mı? Yollar yön değiştirirse sonuçların yorumlanmasını etkiler mi?

lasso ridge-regression elastic-net

— shadowtalker
kaynak

Ne anlamda monoton? Bazı fonksiyonların bir grafiği olarak ele almak istiyorsanız benim için çok anlamlı görünmüyor.

— Henry.L

4

@ Henry.L Soru şu şekilde yeniden ifade edilebilir: ne zaman şu doğrudur: , tüm için , burada . Yani, kement bileşen olarak düzgün bir şekilde küçülür. Şüphelendiğiniz şeyin anlamlı olduğunu açıklar mısınız?

λ_{1} \geq λ_{2}

$\lambda_1 \ge \lambda_2$

({\hat{β}}_{λ_{2}})_{j} \geq ({\hat{β}}_{λ_{1}})_{j}

$(\hat\beta_{\lambda_2})_j \ge (\hat\beta_{\lambda_1})_j$

j

$j$

{\hat{β}}_{λ} = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

$\hat\beta_\lambda = \arg\min_\beta \frac{1}{2n}\|y-X\beta\|_2^2 + \lambda \|\beta\|_1$

— user795305

2

not: Kement katsayılarını küçültme şeklinin anlaşılması

— user795305

1

Bunu daha önce nasıl özlediğimi bilmiyorum, soru Kement için OP'nin yukarıdaki sorudaki kendi sorusuna verdiği yanıtla cevaplandı.

— user795305

Yanıtlar:

2

Size yolun monotonik olması için yeterli bir koşul verebilirim : ortonormal bir tasarımı . $X$

Bir ortonormal tasarım matrisi, yani $p$ değişkenler , var olduğu . Ortonormal bir tasarımla OLS regresyon katsayıları basitçe . $X$ $\frac{X'X}{n} = I_p$ $\hat{\beta}^{ols} = \frac{X'y}{n}$

LASSO için Karush-Khun-Tucker koşulları böylece şunları basitleştirir:

\frac{X^{'} y}{n} = {\hat{β}}^{l a s s o} + λ s ⟹ {\hat{β}}^{o l s} = {\hat{β}}^{l a s s o} + λ s

$\frac{X'y}{n} = \hat{\beta}^{lasso} + \lambda s \implies \hat{\beta}^{ols} = \hat{\beta}^{lasso} + \lambda s$

nerede $s$ , alt eğimdir. Bu nedenle, her biri için Elimizdeki bu , ve Kement tahminlerine kapalı bir form çözümü var: $j\in \{1, \dots, p\}$ $\hat{\beta}_j^{ols} = \hat{\beta}_j^{lasso} + \lambda s_j$

{\hat{β}}_{j}^{l a s s o} = s i g n ({\hat{β}}_{j}^{o l s}) {(| {\hat{β}}_{j}^{o l s} | - λ)}_{+}

$\hat{\beta}_j^{lasso} = sign\left(\hat{\beta}_j^{ols}\right)\left(|\hat{\beta}_j^{ols}| - \lambda \right)_{+}$

Ki monotonik olan . Bu gerekli bir durum olmamakla birlikte, monotonik olmamanın eş değişkenlerin korelasyonundan gelmesi gerektiğini görüyoruz . $\lambda$ $X$

— Carlos Cinelli
kaynak

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.

Licensed under cc by-sa 3.0 with attribution required.