Maksimum posteriori tahmini örneği

Maksimum olabilirlik tahmini ve maksimum posteriori tahmin hakkında okudum ve şimdiye kadar sadece maksimum olabilirlik tahmini ile somut örneklerle karşılaştım. Maksimum posteriori kestirime ilişkin bazı soyut örnekler buldum, ancak üzerinde sayılarla henüz somut bir şey yok: S

Çok ezici olabilir, sadece soyut değişkenler ve işlevlerle çalışabilir ve bu soyutlukta boğulmamak için zaman zaman işleri gerçek dünyayla ilişkilendirmek güzeldir. Ama elbette, bu sadece benim (ve diğer bazı insanların) gözlemim :)

Bu nedenle, herhangi biri bana sayıları olan bir Posteriori tahmininin basit ama somut bir örneğini verebilir mi? Bu çok yardımcı olur :)

Teşekkür ederim!

Aslında bu soruyu MSE'ye gönderdim, ancak orada bir cevap alamadım:

/math/449386/example-of-maximum-a-posteriori-estimation

Çapraz gönderme konusunda burada verilen talimatları takip ettim:

http://meta.math.stackexchange.com/questions/5028/how-do-i-move-a-post-to-another-forum-like-cv-stats

1. Örnek

Tipik bir durum, doğal dil işleme bağlamında etiketlemedir . Ayrıntılı bir açıklama için buraya bakın . Fikir temel olarak bir cümledeki bir kelimenin sözcük kategorisini belirleyebilmektir (bir isim, bir sıfat, ...). Temel fikir, gizli bir markov modelinden ( HMM ) oluşan bir dil modeline sahip olmanızdır . Bu modelde, gizli durumlar sözcük kategorilerine ve gözlenen durumlar gerçek kelimelere karşılık gelir.

İlgili grafik model şu şekildedir:

burada cümledeki sözcük dizisidir ve dizidir Etiketler$\mathbf{y} = (y1,...,y_{N})$$\mathbf{x} = (x1,...,x_{N})$

Eğitildikten sonra amaç, belirli bir giriş cümlesine karşılık gelen sözcük kategorilerinin doğru sırasını bulmaktır. Bu, dil modeli tarafından üretilmesi en uygun / en muhtemel olan etiket dizisini bulmak, yani

$$f(y) = \mathbf{argmax}_{\mathbf{x} \in Y}p(\mathbf{x})p(\mathbf{y}|\mathbf{x})$$

2. Örnek

Aslında daha iyi bir örnek regresyon olabilir. Sadece anlaşılması daha kolay olduğu için değil, aynı zamanda maksimum olabilirlik (ML) ve maksimum arasındaki bir posteriori (MAP) arasındaki farkları netleştirdiği için.

Temel olarak, sorun, örnekleri tarafından verilen bazı fonksiyonların bir dizi temel fonksiyonun doğrusal bir kombinasyonuyla uydurulmasıdır , burada temel işlevlerdir ve ağırlıklardır. Genellikle örneklerin Gauss gürültüsü tarafından bozulduğu varsayılır. Bu nedenle, hedef fonksiyonun tam olarak böyle doğrusal bir kombinasyon olarak yazılabileceğini varsayarsak,$t$

$$y(\mathbf{x};\mathbf{w}) = \sum_{i}w_{i}\phi_{i}(\mathbf{x})$$ $\phi(\mathbf{x})$$\mathbf{w}$

$$t = y(\mathbf{x};\mathbf{w}) + \epsilon$$

bu yüzden Bu sorunun ML çözümü en aza indirmeye eşdeğerdir,$p(t|\mathbf{w}) = \mathcal{N}(t|y(\mathbf{x};\mathbf{w}))$

$$E(\mathbf{w}) = \frac{1}{2}\sum_{n}\left(t_{n} - \mathbf{w}^{T}\phi(\mathbf{x}_{n}) \right)^{2}$$

ki bu en iyi bilinen en küçük kare hata çözeltisini verir. Şimdi, ML gürültüye duyarlıdır ve belirli koşullar altında kararlı değildir. MAP, ağırlıklar üzerinde kısıtlamalar koyarak daha iyi çözümler bulmanızı sağlar. Örneğin, tipik bir durum, ağırlıkların mümkün olduğunca küçük bir norm olmasını talep ettiğiniz sırt regresyonudur,

$$E(\mathbf{w}) = \frac{1}{2}\sum_{n}\left(t_{n} - \mathbf{w}^{T}\phi(\mathbf{x}_{n}) \right)^{2} + \lambda \sum_{k}w_{k}^{2}$$

öncesinde bir Gauss ayarı yapmaya eşdeğerdir . Toplamda, tahmini ağırlıklar$\mathcal{N}(\mathbf{w}|\mathbf{0},\lambda^{-1}\mathbf{I})$

$$\mathbf{w} = \mathbf{argmin}_{w}p(\mathbf{w};\lambda)p(t|\mathbf{w};\phi)$$

MAP'de ağırlıkların ML'deki parametreler değil, rastgele değişkenler olduğuna dikkat edin. Bununla birlikte, hem ML hem de MAP nokta tahmin edicilerdir (optimal ağırlıkların dağılımı yerine en uygun ağırlık kümesini döndürürler).