Tekrar Ağırlıklı En Küçük Kareler (IRLS) Yöntemi LASSO Modeline Nasıl Uygulanır?

12

IRLS algoritmasını kullanarak bir lojistik regresyon programladım . Doğru özellikleri otomatik olarak seçmek için bir LASSO cezası uygulamak istiyorum . Her yinelemede aşağıdakiler çözülür:

(X^{T} W X) δ \hat{β} = X^{T} (y - p)

$\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)}$

Let negatif olmayan reel sayı. The Elements bölümünde önerildiği gibi kesmeyi cezalandırmıyorum . İstatistiksel Öğrenme . Zaten sıfır katsayıları için aynen. Aksi takdirde, sağ taraftan bir terim çıkarırım: $\lambda$

X^{T} (y - p) - λ \times s i g n (\hat{β})

$\mathbf{X^T\left(y-p\right)-\lambda\times \mathrm{sign}\left(\hat\beta\right)}$

Ancak, IRLS algoritmasının değiştirilmesinden emin değilim. Bunu yapmanın doğru yolu var mı?

Düzenleme: Ben bu konuda emin olmasa da, ben nihayet geldi çözümler burada. İlginç olan, bu çözümün şu anda LASSO hakkında anladığım şeye karşılık gelmesidir. Her bir yinelemede sadece bir yerine iki adım vardır :

ilk adım öncekiyle aynıdır: algoritmanın yinelemesini yapıyoruz ( yukarıdaki gradyan için formülde gibi), $\lambda=0$
ikinci adım yenidir: ilk aşamada elde edilen vector her bileşenine ( karşılık gelen bileşeni hariç) yumuşak eşikleme . Buna İteratif Yumuşak Eşikleme Algoritması denir . $\beta_0$ $\beta$

\forall i \geq 1, β_{i} \leftarrow s i g n (β_{i}) \times max (0, | β_{i} | - λ)

$\forall i \geq 1, \beta_{i}\leftarrow\mathrm{sign}\left(\beta_{i}\right)\times\max\left(0,\,\left|\beta_{i}\right|-\lambda\right)$

— Wok
kaynak

Yine de IRLS'yi adapte ederek daha iyi bir yakınlaşma sağlayamadı. : '(

— Wok

12

Bu problem tipik olarak koordinat inişine uyarak çözülür ( buraya bakınız ). Bu yöntem hem sayısal olarak daha güvenli, hem de algoritmik olarak uygulanması daha kolay ve daha genel bir model dizisine (Cox regresyonu da dahil) uygulanabilir. R paketi glmnet'inde bir R uygulaması mevcuttur . Kodlar açık kaynak kodludur (kısmen C ve kısmen C, kısmen R), böylece bunları taslak olarak kullanabilirsiniz.

— user603
kaynak

@wok Dikkat çekici bir şekilde, scikit.learn paketi de bu tür şeyler için Python'da etkili bir uygulama sunar.

— chl

Koordinat iniş algoritması ilginçtir. Teşekkürler. Hala düşünüyor.

— Wok

5

LASSO kayıp fonksiyonunun her eksen boyunca sıfırda bir süreksizliği vardır, bu nedenle IRLS'nin problemleri olacaktır. Sıralı bir minimum optimizasyon (SMO) tipi yaklaşımın çok etkili olduğunu gördüm, bkz.

http://bioinformatics.oxfordjournals.org/content/19/17/2246

MATLAB yazılımlı bir sürüm

http://bioinformatics.oxfordjournals.org/content/22/19/2348

yazılımı burada bulabilirsiniz:

http://theoval.cmp.uea.ac.uk/~gcc/cbl/blogreg/

Temel fikir, katsayıları birer birer optimize etmek ve süreksizliği her seferinde bir katsayı geçip geçmediğinizi görmek için sınamaktır; Yavaş gelebilir, ancak aslında oldukça etkilidir (daha iyi algoritmaların geliştirildiğini beklememe rağmen - muhtemelen her ikisi de bu konuda lider uzman olan Keerthi veya Chih-Jen Lin tarafından).

— Dikran Keseli
kaynak

Teşekkürler. Bunu okuyorum ve düşünüyorum. Bununla birlikte, bu mevcut algoritmanın büyük bir değişikliği olacaktır.

— Wok

4

Makaleyi kontrol edebilirsiniz: LASSO için IRLS tabanlı bir algoritma olan verimli L1-düzenli lojistik regresyonu. Uygulama ile ilgili olarak, bağlantı sizin için yararlı olabilir (http://ai.stanford.edu/~silee/softwares/irlslars.htm).

0

LASSO sorunu için IRLS aşağıdaki gibidir:

\arg min_{x} \frac{1}{2} {‖ A x - b ‖}_{2}^{2} + λ {‖ x ‖}_{1} = \arg min_{x} \frac{1}{2} {‖ A x - b ‖}_{2}^{2} + λ x^{T} W x

$\arg \min_{x} \frac{1}{2} \left\| A x - b \right\|_{2}^{2} + \lambda \left\| x \right\|_{1} = \arg \min_{x} \frac{1}{2} \left\| A x - b \right\|_{2}^{2} + \lambda {x}^{T} W {x}$

Burada diyagonal matris - . Bu . $W$ ${W}_{i, i} = \frac{1}{ \left| {x}_{i} \right| }$
$\left\| x \right\|_{1} = \sum_{i} \left| {x}_{i} \right| = \sum_{i} \frac{ {x}_{i}^{2} } { \left| {x}_{i} \right| }$

Şimdi, yukarıdaki sadece Tikhonov Düzenlemesi .
Çünkü Yine, bağlıdır bir iteratif çözmek gerekir (aynı zamanda, bu türev gibi, Pyatnitskiy düzenlenmesine 2 faktör iptal ilişkin tutarken sabit gibidir bu değerine eşit ): $W$ $x$ ${x}^{T} W x$ $x$ $x$ $\operatorname{diag} \left( \operatorname{sign} \left( x \right) \right)$ $W x$

x^{k + 1} = {(A^{T} A + λ W^{k})}^{- 1} A^{T} b

${x}^{k + 1} = \left( {A}^{T} A + \lambda {W}^{k} \right)^{-1} {A}^{T} b$

Nerede . ${W}_{i, i}^{K} = \frac{1}{ \left| {x}^{k}_{i} \right| }$

Başlatma . $W = I$

Bunun büyük değerleri için iyi çalışmadığına dikkat edin ve ADMM veya Koordinat İniş'i daha iyi kullanın. $\lambda$

— Royi
kaynak