Neden L2 üzerinde L1 düzenlenmesi kullanılıyor?

10

Kayıp fonksiyonu kullanarak doğrusal regresyon modeli yürütmek, neden kullanmalıyım? $L_1$ onun yerine $L_2$ regularization?

Aşırı takmayı önlemede daha iyi mi? Deterministik mi (yani her zaman benzersiz bir çözüm)? Özellik seçiminde daha iyi mi (çünkü seyrek modeller üretmek)? Ağırlıklar özellikler arasında dağılıyor mu?

linear-regression regularization

— astudentofmaths
kaynak

2

L2 değişken seçim yapmaz, bu nedenle L1 bu konuda kesinlikle daha iyidir.

— Michael M

1

stats.stackexchange.com/questions/866/…

— HelloWorld

5

Temel olarak, katsayıların fazla uyuma mükemmel şekilde uymasını önlemek için bir düzenleme terimi ekliyoruz.

L1 ve L2 arasındaki fark L1'dir ve ağırlıkların toplamıdır ve L2 sadece ağırlıkların karesinin toplamıdır.

L1, L2'den farklı olarak ayırt edilemediğinden gradyan tabanlı yaklaşımlarda kullanılamaz

L1, seyrek özellik uzaylarında özellik seçiminin yapılmasına yardımcı olur.

Özellikleri arasındaki fark şu şekilde özetlenebilir:

— Bathini Pranay kumar
kaynak

1

"L1'in gradyan tabanlı yaklaşımlarda kullanılamayacağı" doğru değildir. Örneğin Keras bunu destekliyor . Evet, türev her zaman sabittir, bu nedenle gradyan inişinin minimum değeri bulmasını zorlaştırır. Ancak düzenlileştirme, kayıp fonksiyonu içinde küçük bir terimdir, bu yüzden şeylerin büyük planında çok önemli değildir.

— Ricardo Cruz

-1

L2, L1 için çok önemli bir avantaja sahiptir ve bu rotasyona ve ölçeğe değişmez.

Bu özellikle coğrafi / fiziksel uygulamalarda önemlidir.

Diyelim ki teknisyen sensörünüzü yanlışlıkla 45 derecelik meleklere kurdu, L1 etkilenirken, L2 (Öklid mesafesi) aynı kalacaktı.

— Chati Denati
kaynak

4

Bu hiç de sorunun cevabı değil.

— kbrose

Değişmezliği açıklayabilir misiniz lütfen?

— aneesh joshi

@Chati, soru düzenlenme ile ilgili. Kayıp fonksiyonlarında 1-norm ve 2-normun diğer kullanımlarıyla karıştırıyorsunuz.

— Ricardo Cruz