LASSO'da normalleştirme parametresi için aralık ve ızgara yoğunluğunu seçme

Bu arada LASSO (en az mutlak büzülme ve seçim operatörü) okuyorum . Düzenleme parametresi için en uygun değerin çapraz doğrulama ile seçilebildiğini görüyorum. Ben de sırt regresyonunda ve regülasyonu uygulayan birçok yöntemde görüyorum, optimal regülasyon parametresini (ceza söyleyerek) bulmak için CV'yi kullanabiliriz. Şimdi sorum parametrenin üst ve alt sınırı için başlangıç değerleri ve dizinin uzunluğunun nasıl belirleneceği hakkında.

Spesifik olarak, bir LASSO problemimiz olduğunu varsayalım ve ceza için en uygun değeri bulmak istiyoruz, . Peki için alt ve üst sınırı nasıl seçebiliriz ? ve bu iki değer arasında kaç bölünme ?

L o g L i k e l i h o o d = (y - x β)^{'} (y - x β) + λ \sum | β |_{1}

$LogLikelihood = (y-x\beta)'(y-x\beta) + \lambda \sum|\beta|_1$

λ

$\lambda$

λ \in [a = ?, b = ?]

$\lambda \in [a=?,b=?]$

\frac{(b - a)}{k = ?}

$\frac{(b-a)}{k=?}$

lasso regularization shrinkage

— TPArrow
kaynak

İlgili soru burada .

— Richard Hardy

Düzenleme (LASSO, sırt, elastik ağ) kullanarak Izgara inceliği ve aşırı sığmanın

— Sycorax

Bu metodoloji, Koordinat İniş Yoluyla Genelleştirilmiş Doğrusal Modeller için glmnet makalesi Düzenleme Yolları'nda açıklanmaktadır . Burada metodoloji hem genel durum için olsa ve regularization, bu kement (yalnızca uygulamalıdır ) de. $L^1$ $L^2$ $L^1$

Maksimum için çözelti bölüm 2.5'te verilmiştir. $\lambda$

Tüm , biz görmek (5), kalacak sıfır ise $\tilde\beta = 0$ $\tilde\beta_j$ . Bu nedenle $\frac{1}{N} | \langle x_j , y \rangle | < \lambda \alpha$ $N \alpha \lambda_{max} = \max_l | \langle x_l , y \rangle |$

Yani, beta için güncelleme kuralının yukarıda belirtilen için tüm parametre tahminlerini sıfıra zorladığını gözlemliyoruz . $\lambda > \lambda_{max}$

Belirlenmesi ve ızgara noktaları sayısı daha az ilkeli görünüyor. Glmnet'te ayarladılar ve sonra logaritmik ölçekte eşit aralıklı noktadan oluşan bir ızgara seçtiler . $\lambda_{min}$ $\lambda_{min} = 0.001 * \lambda_{max}$ $100$

Bu pratikte iyi çalışıyor, glmnet'i yoğun bir şekilde kullandığımda, bu ızgarayı asla çok kaba bulmadım.

$L^1$ $\lambda$

$\beta = 0$ $\lambda_{max}$ $L^1$

Numune ağırlıkları da durumu zorlaştırır, iç ürünler uygun yerlerde ağırlıklı iç ürünlerle değiştirilmelidir.

— Matthew Drury
kaynak