LASSO, daha önce bir Laplace ile doğrusal regresyona eşdeğerse, bileşenleri sıfır olan setlerde kütle nasıl olabilir?

Hepimiz literatürde iyi belgelenmiş, LASSO optimizasyonunun (basitlik uğruna burada dikkatleri doğrusal regresyon örneğiyle sınırladığı) biliyoruz , parametrelere Laplace'dan önce verilen Gauss hataları olan doğrusal modele eşdeğerdir Ayrıca yüksek olanın ayarlama parametresini ayarladığını, , parametrelerin büyük bölümü sıfıra ayarlanır. Bu şu düşünce sorusu var:

l Ö s s = ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

${\rm loss} = \| y - X \beta \|_2^2 + \lambda \| \beta \|_1$

\exp (- λ ‖ β ‖_{1})

$\exp(-\lambda \| \beta \|_1 )$

λ

$\lambda$

Bakış Bayes açıdan biz sıfır olmayan parametre tahminleri aralıklarla verilen herhangi koleksiyonunda yalan, diyelim ki arka olasılığını hesaplayabiliriz düşünün ve kement ile sıfırlanır parametrelere sıfıra eşittir. Önceden Laplace'ın sürekli (aslında kesinlikle sürekli) olduğu göz önüne alındığında, aralıkların ve tektonların bir ürünü olan herhangi bir sette nasıl herhangi bir kütle olabilir $\{0\}$ ?

lasso laplace-distribution

— Hibe İzmirli
kaynak

Posteriorun da sürekli bir pdf olmadığını düşündüren nedir? Posteriorun maksimum değerinin çok fazla 0 bileşene sahip bir noktada meydana gelmesi, posteriorun sürekli bir pdf olmadığı anlamına gelmez.

— Brian Borchers

Posterior sürekli bir PDF'dir. Sınırlı maksimum olabilirlik tahmini olarak görülüyorsa, gerçek modelin çoklu regresyon katsayılarında sıfırlar varsa ve ayarlama sabiti yeterince büyük olduğunda aynı veri dağılımından tekrarlanan çekimler hayal edersek, CMLE her zaman aynı bileşenlerin sıfıra ayarlanmış ve sıfır parametreleri karşılık gelen güven aralıklarına yayılacaktır. Bayes perspektifinden bakıldığında bu, bu tür kümeler için pozitif bir olasılığa eşdeğerdir. Sorum şu, sürekli bir dağıtım için bu nasıl olabilir.

— Grant Izmirlian

CLME çözümü MAP tahmini ile çakışıyor. Gerçekten söylenecek başka bir şey yok.

— Sycorax, Reinstate Monica'yı

CMLE çözümü posteriordan bir örnek değildir.

— Brian Borchers

Bir çelişki yoktur çünkü posterior alt boyut kümelerine kitle koymaz.

— Xi'an

Yukarıdaki tüm yorumlar gibi, LASSO'nun Bayesian yorumu da posterior dağılımın beklenen değerini almıyor, bu da bir safkan olsaydınız yapmak istediğiniz şeydi. Durum böyle olsaydı, veriler göz önüne alındığında posteriorun sıfır olma ihtimali çok düşüktür.

Gerçekte, LASSO'nun Bayes yorumu, posteriorun MAP (Maximum A Posteriori) tahmincisini alıyor. Bildiğiniz gibi görünüyor, ancak olmayan herkes için, bu temelde Bayes Maksimum Olasılığı, burada LASSO'daki parametreler için tahmin ediciniz olarak maksimum gerçekleşme olasılığına (veya moduna) karşılık gelen değeri kullanırsınız. Dağılım, negatif yönden sıfır olana kadar katlanarak arttığından ve pozitif yönde katlanarak düştüğü için, verileriniz beta'nın başka bir önemli değer olduğunu güçlü bir şekilde önermediği sürece, posteriorunuzun maksimum değerinin 0 olması muhtemeldir.

Uzun lafın kısası, sezginiz posterior ortalamasına dayanıyor gibi görünüyor, ancak LASSO'nun Bayesian yorumu posterior modunu almaya dayanıyor.

— WWW3
kaynak