Kement formülasyonları arasındaki bağlantı

Bu soru aptal olabilir, ancak Kement regresyonunun iki farklı formülasyonu olduğunu fark ettim . Kement sorununun, kare kaybı artı -1 ceza teriminden oluşan ve aşağıdaki gibi ifade edilen hedefi en aza indirmek olduğunu biliyoruz: $L$

min_{β} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

$\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \;$

Ancak sık sık Lasso tahmincisinin olarak yazılabileceğini gördüm

{\hat{β}}_{n} (λ) = \arg min_{β} {\frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}}

$\hat{\beta}_n(\lambda) = \displaystyle\arg \min_{\beta} \{\frac {1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \}$

Sorum şu, eşdeğer midir? terimi nereden geliyor? $\frac {1}{2n}$ İki formülasyon arasındaki bağlantılar benim için açık değil.

[Güncelleme] Ben sormalısınız Anter soru şu

Neden ikinci formülasyon var? Sorunu bu şekilde formüle etmenin teorik veya hesaplamalı olarak avantajı nedir?

lasso

— Aaron Zeng
kaynak

Set ise ikinci formülasyonda için eşit kat daha sonra ikinci bir formülasyonda amaç fonksiyonu, ilk formülasyon içinde birinci formülasyonda kez amaç fonksiyonu. Aslında, sadece kaybın ölçüm birimlerini değiştirdiniz. Bunun optimal değerlerini değiştireceğini nasıl düşünüyorsunuz ?

λ

$\lambda$

1 / (2 n)

$1/(2n)$

λ

$\lambda$

1 / (2 n)

$1/(2n)$

β

$\beta$

— whuber

Teşekkürler @ Whuber. Bu bana mantıklı geliyor. Öyleyse neden ikinci formülasyon var? Sorunu bu şekilde formüle etmenin teorik veya hesaplamalı olarak avantajı nedir?

— Aaron Zeng

Onlar her zaman yeniden ölçeklendirebilirsiniz çünkü gerçekten eşdeğerdir (ayrıca @ whuber'ın yorumuna bakın). Teorik bir bakış açısından, bu bir kolaylık meselesidir, ancak bildiğim kadarıyla gerekli değildir. Hesaplamalı bir bakış açısıyla, aslında oldukça sinir bozucu buluyorum , bu yüzden düzenlileştirme kullanan bir algoritma tasarlıyorsam genellikle ilk formülasyonu kullanıyorum. $\lambda$ $1/(2n)$

Biraz arka plan: Cezalandırılmış yöntemleri öğrenmeye ilk başladığımda, 'yi işimin her yerinde taşımaktan rahatsız oldum, bu yüzden görmezden gelmeyi tercih ettim - hatta bazı hesaplamalarımı basitleştirdi. O zaman işim esas olarak hesaplamaya dayalıydı. Son zamanlarda teorik çalışmalar yapıyorum ve vazgeçilmez buldum (hatta , ). $1/(2n)$ $1/(2n)$ $1/n$

Diğer ayrıntılar: Örnek hacminin fonksiyonu olarak Lasso davranışını analiz çalıştığınızda , sık Rasgele değişkenlerin toplamları ile uğraşmak zorunda ve pratikte bunun tarafından normalleştirme sonra bu tür meblağlar analiz etmek daha uygundur - - büyük sayılar / merkezi limit teoreminin (ya da fantezi, ölçü konsantrasyonu ve ampirik süreç teorisi almak istiyorsanız) düşünün. Eğer yoksa kaybının önüne terimini o orada başlamak zorunda genellikle daha güzel öyleyse, sonuçta analizin sonunda birşeyler rescaling sonunda. o bazı can sıkıcı faktörlerini ortadan kaldıran, çünkü uygundur $n$ $n$ $1/n$ $1/2$ $2$ analizde (örneğin, kare kaybı teriminin türevini aldığınızda).

Bunu düşünmenin bir başka yolu, teori yaparken, genellikle arttıkça çözümlerin davranışıyla ilgilenmemizdir - yani sabit bir miktar değildir. Pratikte, Kement'i sabit bir veri kümesinde çalıştırdığımızda, gerçekten algoritma / hesaplamaların perspektifinden sabitlenir. Bu yüzden ekstra normalleştirici faktörün ön tarafta olması o kadar da yararlı değil. $n$ $n$ $n$

Bunlar can sıkıcı kolaylık meseleleri gibi görünebilir, ancak bu tür eşitsizlikleri manipüle etmek için yeterli zaman harcadıktan sonra, sevmeyi öğrendim . $1/(2n)$

— johna
kaynak

Bu normalleştirici sabitlerin ne için olduğunu anladıktan sonra, onları her yerde görmeye başlarsınız .

— Matthew Drury

Bu açıklama için teşekkürler. Bu alandaki harika deneyimlerinizi okumaktan gurur duyuyoruz. Tekrar teşekkürler

— Christina