L2 düzenlenmesi Gaussian Prior’in eşdeğeridir

56

Bunu okumaya devam ediyorum ve sezgisel olarak bunu görebiliyorum, ancak L2 düzenlileşmesinden analitik olarak bunun bir Gauss Öncesi olduğunu söylemeye nasıl geçilir? Aynı şey, L1'in daha önce bir Laplacean'a eşdeğer olduğunu söylemek için de geçerli.

Diğer referanslar çok iyi olurdu.

regression references regularization

— Anonim
kaynak

54

Gözlemlenen bazı girdi-çıktı çiftlerinden parametrenin . Çıktıların üzerinden girdilerle doğrusal olarak ilişkili olduğunu ve verilerin bir miktar tarafından bozulduğunu varsayalım : $\beta$ $(x_1,y_1)\dots,(x_N,y_N)$ $\beta$ $\epsilon$

y_{n} = β x_{n} + ϵ,

$y_n = \beta x_n + \epsilon,$

burada , Gauss gürültüsüdür ve ortalama ve varyansı . Bu, Gauss olasılığını doğurur: $\epsilon$ $0$ $\sigma^2$

\prod_{n = 1}^{N} N (y_{n} | β x_{n}, σ^{2}) .

$\prod_{n=1}^N \mathcal{N}(y_n|\beta x_n,\sigma^2).$

parametresini düzenleyelim , Gaussian önceki düzenleyerek burada kesinlikle pozitif bir skalerdir. Dolayısıyla, olasılık ve önceliği birleştirerek basitçe sahip olduk: $\beta$ $\mathcal{N}(\beta|0,\lambda^{-1}),$ $\lambda$

\prod_{n = 1}^{N} N (y_{n} | β x_{n}, σ^{2}) N (β | 0, λ^{- 1}) .

$\prod_{n=1}^N \mathcal{N}(y_n|\beta x_n,\sigma^2) \mathcal{N}(\beta|0,\lambda^{-1}).$

Yukarıdaki ifadenin logaritmasını alalım. Bazı sabitleri düşürerek elde ederiz:

\sum_{n = 1}^{N} - \frac{1}{σ^{2}} (y_{n} - β x_{n})^{2} - λ β^{2} + const .

$\sum_{n=1}^N -\frac{1}{\sigma^2}(y_n-\beta x_n)^2 - \lambda \beta^2 + \mbox{const}.$

Biz ile ilgili olarak yukarıda ifade en üst düzeye çıkarmak , böylece maksimum a-sonradan tahmin denilen olsun kısa veya MAP tahmin. Bu ifadede, önceki Gaussian'ın neden L2 düzenlileştirme terimi olarak yorumlanabileceği açıkça ortaya çıkıyor. $\beta$ $\beta$

Benzer şekilde, L1 normu ve daha önce Laplace arasındaki ilişki de aynı şekilde anlaşılabilir. Önce bir Gaussian yerine, bir Laplace önce onu sizin olasılığınızla birleştirin ve logaritmayı alın.

Her iki konunun ayrıntılarını anlatan iyi bir referans (belki de biraz ileri düzeyde), şu anda çevrimiçi olarak bulunmasının kolay olmadığı "Denetimli Öğrenme için Uyarlamalı Seyreklik" adlı kağıttır. Alternatif olarak "Jeffreys Prior'i kullanarak Adaptif Seyreklik" konusuna bakın . Bir başka iyi referans ise "Laplace önceleri ile birlikte Bayesian sınıflandırması" dır .

— ngiann
kaynak

1

Bir de D dimensionlineer regresyon durumda, olabilir betave sigmaaçık çözümler var? PRML okuyorum ve denklem (1.67) sayfa 30'da bulunmakta ve nasıl çözüleceği hakkında hiçbir fikrim yok. Maksimum olasılıkla, biz çözmek betave daha sonra sigmasıfıra gradyan ayarlayarak. Düzenlenmiş en küçük karede, bazı yeniden yapılandırma paramleri lambdabilindiğinden, betadoğrudan çözüyoruz . Doğrudan MAP çözmek Ama eğer çözme sırası nedir beta, sigma? Açık bir çözümü olabilir mi yoksa yinelemeli bir süreç kullanmalı mıyız?

— stackunderflow

Eğer bir "kare" eksik son denklemde yani ?

λ β

$\lambda \beta$

λ β^{2}

$\lambda \beta^2$

— brian.keng

@AdamO Katsayıların alabileceği değerlerin sayısını sınırlar. Öncelik, örneğin 1-10 arasındaysa, o zaman başka bir değer alma katsayısı olasılığı vardır, yani [-inf to 1] ve [10, + inf].

— imsrgadich

1

Bu durumda bilinmektedir. Zaman çalışır mı bilinmemektedir? Bayesian doğrusal regresyon için, varyanstan önce bir konjugat oluşturmak için önceden bir ters gama kullanılabilir. Fakat cebirin aynı ifadeyi oluşturacağından emin değilim.

σ^{2}

$\sigma^2$

σ^{2}

$\sigma^2$

— AdamO

11

Çok değişkenli normal önceki ve çok değişkenli normal olasılığa sahip doğrusal bir model için, arka ortalamanın (ve maksimum posteriori model) tam olarak Tikhonov normalize edilmiş ( kullanarak elde edeceğiniz bir normal değişken dağılımına sahip olursunuz. düzenli) uygun bir düzenlileştirme parametresiyle en küçük kareler. $L_{2}$

Tikhonov düzenli en küçük kareler çözümünün belirli bir nokta tahmini olduğu halde, Bayesçi posteriorun olasılık dağılımında daha temel bir fark olduğuna dikkat edin.

Bu, ters problemler için Bayesian yöntemleri üzerine birçok ders kitabında tartışılmaktadır. Örneğin:

http://www.amazon.com/Inverse-Problem-Methods-Parameter-Estimation/dp/0898715725/

http://www.amazon.com/Parameter-Estimation-Inverse-Problems-Second/dp/0123850487/

Benzer şekilde, daha önce bir Laplacian'ınız varsa ve çok değişkenli normal bir olasılığınız varsa, o zaman posterior dağılımın maksimumu düzenli en küçük kareler problemini çözerek elde edebileceğiniz bir noktada meydana gelir . $L_{1}$

— Brian Borchers
kaynak

9

Medyan'ın L1 normunu en aza indirdiğine dair ilk bildirim ( L1 ve L2 hakkında daha fazla bilgi için buraya veya buraya bakın )

median (x) = \underset{s}{a r g m i n} \sum_{i} | x_{i} - s |^{1}

$\DeclareMathOperator*{\argmin}{arg\,min} \text{median}(x) = \argmin_s \sum_i |x_i - s|^1$

ortalama L2'yi en aza indirir

mean (x) = \underset{s}{a r g m i n} \sum_{i} | x_{i} - s |^{2}

$\text{mean}(x) = \argmin_s \sum_i |x_i - s|^2$

Şimdi, normal dağılımlar olduğunu hatırlamak parametresi kullanılarak tahmin edilebilir anlamına numuneyi ederken, MLE tahmincisi Laplace dağılımı için parametresi medyan olduğunu. Bu yüzden Normal dağılım kullanmak L2 norm optimizasyonuna eşittir ve Laplace dağılımını kullanarak L1 optimizasyonunu kullanır. Uygulamada medyanın aykırı değerlere ortalamanınkinden daha az duyarlı olduğunu düşünebilirsiniz ve aynısı, daha önce yağlanmış kuyruklu Laplace dağılımını kullanmak, modelinizi aykırı değerlere göre normal dağılıma göre daha az eğilimli hale getirir. $\mu$ $\mu$

Hurley, WJ (2009) İki Katlı Dağılım İçin MLE'yi Hesaplamak İçin Endüktif Bir Yaklaşım . Modern Uygulamalı İstatistiksel Yöntemler Dergisi: 8 (2), Madde 25.

— Tim
kaynak

Muhtemelen bu, burada verilen matematiksel olarak en katı cevap değildir, ancak L1 / L2 normalizasyonunda bir acemi için kesinlikle en kolay ve en sezgisel olanı kavramaktır.

— SQLServerSteve

8

değişkenli bir regresyon problemi için (kesişmeden w / o kesişme) $k$

min_{β} (y - X β)^{'} (y - X β)

$\min_{\beta} (y - X \beta)' (y - X \beta)$

ceza ile düzenli regresyonda $L^p$

min_{β} (y - X β)^{'} (y - X β) + λ \sum_{i = 1}^{k} | β_{i} |^{p}

$\min_{\beta} (y - X \beta)' (y - X \beta) + \lambda \sum_{i=1}^k |\beta_i|^p$

Eşit olarak yapabiliriz (işaretin değiştiğine dikkat edin)

max_{β} - (y - X β)^{'} (y - X β) - λ \sum_{i = 1}^{k} | β_{i} |^{p}

$\max_{\beta} -(y - X \beta)' (y - X \beta) - \lambda \sum_{i=1}^k |\beta_i|^p$

Bu doğrudan Bayesyan prensibi ile ilgilidir.

p o s t e r i o r \propto l i k e l i h o o d \times p r i o r

$posterior \propto likelihood \times prior$

veya eşdeğerde (düzenlilik koşulları altında)

l o g (p o s t e r i o r) \sim l o g (l i k e l i h o o d) + l o g (p e n a l t y)

$log(posterior) \sim log(likelihood) + log(penalty)$

Şimdi hangi üstel aile dağılımının hangi ceza türüne karşılık geldiğini görmek zor değil.

— Georg M. Goerg
kaynak

3

Eşdeğerliği daha kesin olarak söylemek gerekirse:

Bir kare hata kaybını en aza indirmek için model ağırlıklarını en aza indirgemek için L2 düzenlileştirmesi, Bayes kuralı kullanılarak önceden değerlendirilmiş ve önceden sıfır ortalama bağımsız Gauss ağırlıkları bulunan en muhtemel ağırlıkları bulmakla eşdeğerdir

Kanıt:

Yukarıda açıklandığı gibi kayıp fonksiyonu

L = \underset{O r i g i n a l l o s s f u n c t i o n}{\underset{⏟}{[\sum_{n = 1}^{N} (y^{(n)} - f_{w} (x^{(n)}))^{2}]}} + \underset{L_{2} l o s s}{\underset{⏟}{λ \sum_{i = 1}^{K} w_{i}^{2}}}

$L = \underbrace{\Big[ \sum_{n=1}^{N} (y^{(n)} - f_{\mathbf{w}}(\mathbf{x}^{(n)}))^{2} \Big] }_{Original \; loss \; function} + \underbrace{\lambda \sum_{i=1}^{K} w_{i}^{2}}_{L_{2} \; loss}$

Çok değişkenli bir Gauss dağılımının

N (x; μ, Σ) = \frac{1}{(2 π)^{D / 2} | Σ |^{1 / 2}} \exp (- \frac{1}{2} (x - μ)^{⊤} Σ^{- 1} (x - μ))

$\mathcal{N}(\mathbf{x}; \mathbf{\mu}, \Sigma) = \frac{1}{(2 \pi)^{D/2}|\Sigma|^{1/2}} \exp\Big(-\frac{1}{2} (\mathbf{x} -\mathbf{\mu})^{\top} \Sigma^{-1} (\mathbf{x} -\mathbf{\mu})\Big)$

Bayes kuralını kullanarak buna sahibiz.

\begin{aligned} p (w | D) & = \frac{p (D | w) p (w)}{p (D)} \\ \propto p (D | w) p (w) \\ \propto [\prod_{n}^{N} N (y^{(n)}; f_{w} (x^{(n)}), σ_{y}^{2})] N (w; 0, σ_{w}^{2} I) \\ \propto \prod_{n}^{N} N (y^{(n)}; f_{w} (x^{(n)}), σ_{y}^{2}) \prod_{i = 1}^{K} N (w_{i}; 0, σ_{w}^{2}) \end{aligned}

$\begin{split} p(\mathbf{w}|\mathcal{D}) &= \frac{p(\mathcal{D}|\mathbf{w}) \; p(\mathbf{w})}{p(\mathcal{D})}\newline &\propto p(\mathcal{D}|\mathbf{w}) \; p(\mathbf{w})\newline &\propto \Big[ \prod_{n}^{N} \mathcal{N}(y^{(n)}; f_{\mathbf{w}}(\mathbf{x}^{(n)}), \sigma_{y}^{2})\Big] \; \mathcal{N}(\mathbf{w}; \mathbf{0}, \sigma_{\mathbf{w}}^{2} \mathbb{I})\newline &\propto \prod_{n}^{N} \mathcal{N}(y^{(n)};f_{\mathbf{w}}(\mathbf{x}^{(n)}) , \sigma_{y}^{2}) \prod_{i=1}^{K} \mathcal{N}(w_{i}; \, 0, \, \sigma_{\mathbf{w}}^{2}) \newline \end{split}$

Çok boyutlu Guassian'ı bir ürüne ayırabildiğimiz yerde, çünkü kovaryans kimlik matrisinin bir katıdır.

Negatif günlük olasılığını alın

\begin{aligned} - \log [p (w | D)] & = - \sum_{n = 1}^{N} \log [N (y^{(n)}; f_{w} (x^{(n)}), σ_{y}^{2})] - \sum_{i = 1}^{K} \log [N (w_{i}; 0, σ_{w}^{2})] + c o n s t . \\ = \frac{1}{2 σ_{y}^{2}} \sum_{n = 1}^{N} (y^{(n)} - f_{w} (x^{(n)}))^{2} + \frac{1}{2 σ_{w}^{2}} \sum_{i = 1}^{K} w_{i}^{2} + c o n s t . \end{aligned}

$\begin{split} -\log \big[p(\mathbf{w}|\mathcal{D}) \big] &= -\sum_{n=1}^{N} \log \big[\mathcal{N}(y^{(n)}; f_{\mathbf{w}}(\mathbf{x}^{(n)}), \sigma_{y}^{2}) \big] - \sum_{i=1}^{K} \log \big[ \mathcal{N}(w_{i}; \, 0, \, \sigma_{\mathbf{w}}^{2}) \big] + const. \newline &= \frac{1}{2\sigma_{y}^{2}} \sum_{n=1}^{N} \big(y^{(n)} - f_{\mathbf{w}}(\mathbf{x}^{(n)})\big)^{2} + \frac{1}{2\sigma_{\mathbf{w}}^{2}} \sum_{i=1}^{K} w_{i}^{2} + const. \newline \end{split}$

Elbette sabiti düşürebilir ve kayıp fonksiyonunu temelden etkilemeden herhangi bir miktarla çarpabiliriz. (sabit hiçbir şey yapmaz, çarpma öğrenme oranını etkili bir şekilde ölçeklendirir. Minima'nın yerini etkilemeyecektir) Bu nedenle, posterior dağılımın negatif log olasılığının L2 düzenli kare hata kaybı fonksiyonuna eşdeğer bir kayıp fonksiyonu olduğunu görebiliriz.

Bu eşitlik geneldir ve ağırlıkların herhangi bir parametrelenmiş fonksiyonu için geçerlidir - yukarıda belirtildiği gibi sadece lineer regresyon değil.

— nickelnine37
kaynak

1

Bazı cezalandırılmış azami olabilirlik tahmininin ve Bayesian prosedürlerinin denkliği tartışılırken, vurgulanması gereken Bayesian modellemenin iki özelliği vardır.

Bayesian çerçevesinde, önceki problemin özelliklerine göre seçilir ve hesaplamalı uygunluk ile motive değildir. Bu nedenle Bayesanlar, seyrek kestirim problemlerinden önceki popüler at nalı da dahil olmak üzere çeşitli öncelikler kullanır ve L1 veya L2 cezalarına eşdeğer olan önceliklere çok fazla ihtiyaç duymazlar.
Tam bir Bayesian yaklaşımı ile işiniz bittiğinde tüm çıkarımsal işlemlere erişebilirsiniz. Örneğin, büyük regresyon katsayıları için kanıtları ölçebilir ve regresyon katsayıları ve genel öngörülen değerler üzerinde güvenilir aralıklar elde edebilirsiniz. Sık sık çerçevede, cezalandırmayı seçtikten sonra tüm çıkarım makinesini kaybedersiniz.

— Frank Harrell
kaynak