Kement neden Değişken Seçim sağlıyor?

İstatistiksel Öğrenme Öğelerini okudum ve Lasso'nun neden değişken seçim sağladığını ve sırt regresyonunun neden olmadığını bilmek istiyorum.

Her iki yöntem de artık kareler toplamını en aza indirir ve parametrelerinin olası değerleri üzerinde bir kısıtlamaya sahiptir . Kement için sınırlama iken, sırt için bazı için .| | β | | 1 ≤ t | | β | | 2 ≤ t $\beta$$||\beta||_1 \le t$$||\beta||_2 \le t$$t$

Elips resmini elmas kitapta görmüştüm ve Lasso'nun sınırlandırılmış bölgenin köşelerine neden vuracağı konusunda bazı sezgilerim var, bu da katsayılardan birinin sıfıra ayarlandığı anlamına geliyor. Ancak, sezgilerim oldukça zayıf ve ikna olmadım. Görmesi kolay olmalı, ama bunun neden doğru olduğunu bilmiyorum.

Bu yüzden bir matematiksel gerekçelendirme veya kalan karelerin toplamı konturlarının neden kısıtlı bölgenin köşelerine çarpma ihtimalinin sezgisel bir açıklamasını aradığımı tahmin ediyorum (oysa bu mümkün değilse kısıtlama ).| | β | | $||\beta||_1$$||\beta||_2$

En çok basit bir model düşünelim: $y = \beta x + e$ , bir L1 cezası ile P ve en küçük karelere kayıp fonksiyonu e . Asgariye indirilecek ifadeyi genişletebiliriz:$\hat{\beta}$$\hat{e}$

$\min y^Ty -2 y^Tx\hat{\beta} + \hat{\beta} x^Tx\hat{\beta} + 2\lambda|\hat{\beta}|$

En küçük kareler çözümünün bazı olduğunu varsayalım , ki bu olduğu varsayımına eşdeğerdir ve L1 cezasını eklediğimizde ne olacağını görün. İle , , bu nedenle ceza süresi değerine eşittir . Wrt nesnel işlevinin türevi :$\hat{\beta} > 0$$y^Tx > 0$ β >0| p | = Β 2A,β β$\hat{\beta}>0$$|\hat{\beta}| = \hat{\beta}$$2\lambda\beta$$\hat{\beta}$

$-2y^Tx +2x^Tx\hat{\beta} + 2\lambda$

ki bu açıkça bir çözüm . $\hat{\beta} = (y^Tx - \lambda)/(x^Tx)$

Açıkçası artırarak ı sıfıra indirebiliriz (at ). Bununla birlikte, bir kez , artan bunu olumsuz etkilemeyecektir, çünkü, gevşek bir şekilde yazarken, negatif olur, amaç işlevinin türevi şu şekilde değişir:$\lambda$β A, = Y , T x β = 0 A, β$\hat{\beta}$$\lambda = y^Tx$$\hat{\beta} = 0$$\lambda$$\hat{\beta}$

$-2y^Tx +2x^Tx\hat{\beta} - 2\lambda$

burada işaretindeki çevirme , ceza süresinin mutlak değer niteliğinden kaynaklandığı; zaman negatif olur, ceza terimi eşit olur ve türev wrt alma sonuçları . Bu çözelti neden ile açıkça tutarsız (verilen en küçük kareler çözelti , bu, ve anlamına gelir.$\lambda$$\beta$$-2\lambda\beta$$\beta$$-2\lambda$β = ( y , T x + λ ) / ( X , T x ) β < 0 > 0 Y , T x > 0 λ > 0 β 0 < 0 β = 0$\hat{\beta} = (y^Tx + \lambda)/(x^Tx)$$\hat{\beta} < 0$$> 0$$y^Tx > 0$$\lambda > 0$). Orada taşırken (biz en küçük kareler çözeltiden uzak hareket gibidir) L1 cezası bir artış ve karesel hata terimi artıştır gelen ile , bu yüzden biz, sadece yapılacak yapıştırın .$\hat{\beta}$$0$$< 0$$\hat{\beta}=0$

olan en küçük kareler çözümü için, uygun işaret değişiklikleriyle aynı mantığın geçerli olduğu sezgisel olarak anlaşılmalıdır . $\hat{\beta} < 0$

En küçük kareler cezasıyla , ancak türev olur:$\lambda\hat{\beta}^2$

$-2y^Tx +2x^Tx\hat{\beta} + 2\lambda\hat{\beta}$

ki bunun açıkça bir çözümü var: . Tabii ki hiçbir artış bunu sıfıra indirmeyecek. Bu nedenle, L2 cezası, " küçükse parametre tahminini sıfıra eşit ayarlayın" gibi hafif bir sorun yaşamadan değişken bir seçim aracı olarak hareket edemez . $\hat{\beta} = y^Tx/(x^Tx + \lambda)$$\lambda$$\epsilon$

Açıkçası, çok değişkenli modellere geçtiğinizde işler değişebilir, örneğin, bir parametre tahminini hareket ettirmek, diğerini işaret değiştirmeye zorlayabilir, ancak genel ilke aynıdır: L2 ceza fonksiyonu sizi sıfıra indiremez, çünkü, çok sezgisel olarak yazma işlemi, aslında, " ifadesinin" paydasına "eklenir , ancak L1 ceza işlevi," gerçekte "bölümüne ekler. $\hat{\beta}$

Y = 1 ve x = [1/10 1/10] ile bir veri setimizin olduğunu varsayalım (bir veri noktası, iki özellik). Bir çözüm, özelliklerden birini seçmek, başka bir özellik de her iki özelliği de ağırlıklandırmaktır. Yani w = [5 5] veya w = [10 0] seçebiliriz.

L1 normunda her ikisinin de aynı cezaya sahip olduğunu, ancak daha fazla yayılan ağırlığın L2 normu için daha düşük bir ceza aldığını unutmayın.

Zaten mükemmel kuleler olduğunu düşünüyorum ama sadece geometrik yorumlarla ilgili bazı sezgiler eklemek için:

"Kement büzülmesini gerçekleştirir , böylece kısıtlamada, iki boyutta bir elmasa karşılık gelen" köşeler "olur. Kareler toplamı bu köşelerden birine çarptığında, eksene karşılık gelen katsayı küçülür. sıfıra$L1$

De arttıkça, çok boyutlu elmas köşeleri artan sayıda vardır ve nedenle bazı katsayıları sıfıra eşit olacağı son derece olasıdır. Bu nedenle, kement büzülme ve (etkin bir şekilde) alt küme seçimi gerçekleştirir.$p$

Alt küme seçiminin aksine, çıkıntı yumuşak bir eşikleme gerçekleştirir: yumuşatma parametresi değiştiği için, tahminlerin örnek yolu sürekli olarak sıfıra hareket eder. "

Kaynak: https://onlinecourses.science.psu.edu/stat857/book/export/html/137

Etki, renkli çizgilerin sıfıra doğru daralan regresyon katsayılarının yolları olduğu yerlerde güzel bir şekilde görselleştirilebilir.

"Ridge regression tüm regresyon katsayılarını sıfıra doğru küçültür; kement bir dizi sıfır regresyon katsayısı verme eğilimindedir ve seyrek bir çözüme yol açar."

Kaynak: https://onlinecourses.science.psu.edu/stat857/node/158