Düzenleme normu ve normu ampirik çalışması

gerçekleştirmek için birçok yöntem vardır - , ve normuna dayalı düzenlileştirme. Göre Friedman Hastie ve Tibsharani yani gerçek hedef fonksiyonu, kullanılan özel olarak, sinyal-gürültü oranı doğası ve örnek büyüklüğü: En iyi regularizer sorununa bağlı olarak değişir. $L_0$ $L_1$ $L_2$

Çeşitli düzenleme yöntemlerinin performansını ve performansını karşılaştıran ampirik araştırmalar var mı?

r regression machine-learning regularization

— Ram Ahluwalia
kaynak

Her üç yazar da Stanford'da. Neden sadece bir tanesine sormuyorsunuz? Rob Tibshirani'ye çok yaklaşılabilir ve Jerry Friedman da öyle. Friedman düzenli regresyon konusunda birçok orijinal araştırma yaptı. Yani daha iyi bir seçim olabilir.

— Michael R.Chernick

Elbette ona cevap verdiğimi söyleyemem. Ancak soruyu cevaplamak için onu en iyi kişiye yönlendirmek, genellikle açıklığa kavuşturmaya çalışan sıradan bir yorumdan daha fazlası gibi görünüyor. Çoğu zaman insanların neden kaynağa gittiklerinde neden sorularını burada sorduğunu merak ediyorum. Friedman'ın cevaplayabileceğinden neredeyse eminim ve özellikle kitaplarında yazılı bir şeyle ilgili bir soru olduğunda kaynağa gitmek çok mantıklı. Cevabı almak için kaynağa gidip burada sunabilirim.

— Michael R.Chickick

İnsanlar kaynağın bir otorite statüsünden korkutuyorlar, kaynağın (kendi görüşlerine göre) küçük ve önemsiz sorularıyla başa çıkmak için çok meşgul olduğunu varsayalım, kaba bir "neden beni rahatsız ediyorsun?" cevap ... Siz de, belki de başka şeyler için bir kaynaksanız, kaynağa gitmek çok daha kolaydır.

— jbowman

@jbowman Evet. Onu anlıyorum. Ama Tibshirani ve Friedman'ı kişisel olarak tanıdığımı ve Op'a korkularının bu yazarlarla temelsiz olduğunu garanti ettiğimi not edeceksiniz. Hastie'den bahsetmedim çünkü onu ve diğerlerini tanımıyorum.,

— Michael R. Chernick

@chl Gerçekçi bir şekilde siteye katılmalarını bekleyebileceğimizi düşünmüyorum. Frank Harrell ve muhtemelen takma ad kullanan diğer birkaç istisna dışında meşgul profesörler için çok fazla zaman gerektirir. Ancak, doğrudan kendilerine gönderilen belirli sorulara yanıt vermek için zaman ayıracaklarını düşünüyorum.

— Michael R.Chernick

Yanıtlar:

Cezalandırılmış doğrusal bir model düşünelim.

ceza çok kullanılmaz ve genellikle değiştirilir matematiksel olarak daha esnektir norm. $L_0$ $L_1$

regülarizasyonu seyrek modeli oluşturmak için özelliğine sahiptir. Bu, çok az değişkenin 0 olmayan regresyon katsayısına sahip olacağı anlamına gelir. Özellikle çok az değişkenin çıktı değişkenleri üzerinde gerçek bir etkisi olduğunu varsayarsanız kullanılır. Çok ilişkili değişkenler varsa bunlardan sadece biri 0 olmayan bir katsayı ile seçilecektir. $L_1$

cezası bir değer eklemek ise gibidir giriş matrisinin diyagonal. Örneğin, değişken sayısının örnek sayısından daha fazla olduğu durumlarda kullanılabilir. Bir kare matris elde etmek için. İle norm cezası tüm değişkenler sıfırdan regresyon katsayısı var. $L_2$ $\lambda$ $L_2$

— Donbeo
kaynak

Ek bir katkı olarak, özellikle normuna ilişkin olarak , bunun "matematiksel olarak esnek" olmadığı için söyleyeceğimi bilmiyorum; Bence bu öncelikle optimizasyonun çok pahalı olması (bunu yapmaya çalışmanın yolları var, ama hiçbir şeyin tam bir genel anlamda işe yaradığını düşünmüyorum). Değişken seçimde çalışan bir cezası kullanmaktan ve hesaplamamasının tek nedeni olduğunu söyleyen bir "büyük peynir" figürünü biliyorum .

L_{0}

$L_0$

L_{0}

$L_0$

— Guy

@Donbeo cevabına birkaç ekleme

1) L0 normu, gerçek anlamda bir norm değildir. Bir vektördeki sıfır olmayan girişlerin sayısıdır. Bu norm açıkça bir dışbükey norm değildir ve gerçek anlamda bir norm değildir. Bu nedenle L0 'normu' gibi terimler görebilirsiniz. Kombinatoryal bir problem haline gelir ve bu nedenle NP zordur.

2) L1 normu seyrek bir çözelti verir (LASSO'ya bakın). Candes, Donoho vb. Altta yatan çözelti seyrek değilse, p >> n olduğunda altta yatan çözeltiyi alamazsınız. Kement'in tutarlı olduğunu gösteren güzel sonuçlar var.

3) Zhou ve Hastie'nin L2 ve L1 cezalandırılmış çözümlerini birleştiren Elastik ağı gibi yöntemler vardır.

— Sid
kaynak