Eşzamanlı L1 ve L2 regülasyonu (elastik ağ olarak da bilinir) ile doğrusal regresyonun Bayesian yorumu var mı?

Bir cezası olan lineer regresyonun , katsayılardan önce bir Gaussian verilen MAP tahminini bulmaya eşdeğer olduğu iyi bilinmektedir . Benzer şekilde, bir cezası kullanmak, daha önce olduğu gibi bir Laplace dağılımı kullanmaya eşdeğerdir. $l^2$ $l^1$

ve normalleştirmesinin bazı ağırlıklı kombinasyonlarını kullanmak nadir değildir . Bunun katsayılar üzerindeki önceki dağılımlara eşdeğer olduğunu söyleyebilir miyiz (sezgisel olarak olması gerektiği gibi görünüyor)? Bu dağılıma hoş bir analitik form verebilir miyiz (belki Gauss ve Laplacian'ın bir karışımı)? Değilse, neden olmasın? $l^1$ $l^2$

— Michael Curry
kaynak

bu makaleye bakın: tandfonline.com/doi/abs/10.1198/jasa.2011.tm09241 (Bu bir veya iki hafta içinde düzgün bir şekilde cevaplanmazsa, o makalenin bir özetini gönderirim (az çok)

— user795305

Herhangi bir zaman frequentists penaltı sahip eklemek gerekir

, bir Bayesian yorumlayabilir bir (muhtemelen uygunsuz) önceden olduğu gibi

standart Gauss modeli altında.

p e n

$pen$

e^{- p e n}

$e^{-pen}$

— user795305

teşekkürler, bu yazı ve alıntıları sorumu mükemmel bir şekilde cevaplıyor!

— Michael Curry

Görünüşe göre Zou ve Hastie 2005, elastik ağı tanıtan kağıt. Öncekiler açısından bir yorum yaparlar.

— Michael Curry

Peki tamam! Onların bayesian yorumu benim ikinci yorum bağlar düşünüyorum

— user795305

Ben'in yorumu muhtemelen yeterlidir, ancak Ben'in başvurduğu makaleden önce olan bazı referanslar sağlarım.

$\beta$

Yakın zamanda, Roy ve Chakraborty (Denklem 6) tarafından elastik ağ için düzeltilmiş bir Bayes modeli önerildi . Yazarlar ayrıca posterior dağılımdan örneklemek için uygun bir Gibbs örnekleyici sunmaya devam ederler ve Gibbs örnekleyicinin geometrik bir oranda sabit dağılıma yaklaştığını gösterirler. Bu nedenle, bu referanslar Hans gazetesine ek olarak faydalı olabilir .

— Greenparker
kaynak

(+1) Harika cevap!

— user795305

gelecekteki herkes için - kağıtların hepsi incelenmeye değer, ancak Hans makalesi size çeşitli dağıtımlar için bazı Gibbs örnekleyicileri ve ayrıca Stan'e kolayca çevrilebilen öncüllerin hiyerarşik bir temsilini verir.

— Michael Curry