Laplace yumuşatma ve Dirichlet önceki

11

Açık Ara maddesi Laplace yumuşatma (ya da katkı maddesi düzgünleştirme) arasında, söz konusu olan bir görüş Bayes açıdan,

bu, önceki olarak parametresiyle simetrik bir Dirichlet dağılımı kullanarak posterior dağılımın beklenen değerine karşılık gelir . $\alpha$

Bunun nasıl doğru olduğu konusunda şaşkınım. Birisi bu iki şeyin nasıl eşdeğer olduğunu anlamama yardımcı olabilir mi?

Teşekkürler!

— DanielX2010
kaynak

10

Elbette. Bu esasen Dirichlet dağılımının multinom dağılımından önce bir konjugat olduğu gözlemidir. Bu, aynı işlevsel forma sahip oldukları anlamına gelir. Makale bundan bahsediyor, ancak bunun çok yönlü örnekleme modelinden geldiğini vurgulayacağım. Yani, aşağı inmek ...

Gözlem posterior ile ilgilidir, bu yüzden farklı öğelerinin sayımı olan bazı verileri ( tanıtalım . Toplamda örneğini gözlemliyoruz . Biz varsayıyoruz bilinmeyen bir dağılımından çekilir (biz koyacağım hangi üzerinde önceden -simplex). $x$ $K$ $N = \sum_{i=1}^K x_i$ $x$ $\pi$ $\mathrm{Dir}(\alpha)$ $K$

Posterior olasılığı verilen ve veri olduğu $\pi$ $\alpha$ $x$

p (π | x, α) = p (x | π) p (π | α)

$p(\pi | x, \alpha) = p(x | \pi) p(\pi|\alpha)$

Olasılık, , çok terimli dağılımdır. Şimdi pdf'leri yazalım: $p(x|\pi)$

p (x | π) = \frac{N!}{x_{1}! \dots x_{k}!} π_{1}^{x_{1}} \dots π_{k}^{x_{k}}

$p(x|\pi) = \frac{N!}{x_1!\cdots x_k!} \pi_1^{x_1} \cdots \pi_k^{x_k}$

ve

p (π | α) = \frac{1}{B (α)} \prod_{i = 1}^{K} π_{i}^{α - 1}

$p(\pi|\alpha) = \frac{1}{\mathrm{B}(\alpha)} \prod_{i=1}^K \pi_i^{\alpha - 1}$

burada . Çarparak, bunu buluyoruz, $\mathrm{B}(\alpha) = \frac{\Gamma(\alpha)^K}{\Gamma(K\alpha)}$

p (π | α, x) = p (x | π) p (π | α) \propto \prod_{i = 1}^{K} π_{i}^{x_{i} + α - 1} .

$p(\pi|\alpha,x) = p(x | \pi) p(\pi|\alpha) \propto \prod_{i=1}^K \pi_i^{x_i + \alpha - 1}.$

Başka bir deyişle, posterior da Dirichlet'tir. Soru arka ortalama ile ilgiliydi. Posterior Dirichlet olduğundan, bunu bulmak için Dirichlet ortalamasının formülünü uygulayabiliriz ,

E [π_{i} | α, x] = \frac{x_{i} + α}{N + K α} .

$E[\pi_i | \alpha, x] = \frac{x_i + \alpha}{N + K\alpha}.$

Bu yardımcı olur umarım!

— Evet
kaynak

p (π | α, x) = p (x | π) p (π | α) / p (x | α),

$p(\pi | \alpha, x) = p(x | \pi)p(\pi | \alpha)/p(x | \alpha),$ bu yüzden ile orantılıdır , ancak eşitlik yazmak doğru değildir bence.

p (π | α, x) = p (x | π) p (π | α) ?

$p(\pi | \alpha, x) = p(x | \pi)p(\pi | \alpha)?$

π

$\pi$

— michal

Bu konuda uzun zamandır kafam karışmıştı ve aydınlanmamı paylaşmak istiyorum. Dirichlet'in Laplace yumuşatmasını motive eden bu insanlar MAP'yi değil, Posterior Ortalama kullanıyorlar. Basit olması için, Beta dağılımını varsayalım (en basit Dirichlet örneği) Posterior ortalama , MAP ise . Birisi diyorsa payda 1 ve paydaya 2 eklemeye karşılık gelirse , bunun nedeni Arka Ortalama'yı kullanıyor olmalarıdır.

\frac{α + n_{s u c c e s s}}{α + β + n_{s u c c e s s} + n_{f a i l u r e s}}

$\frac{\alpha + n_{success}}{\alpha + \beta + n_{success} + n_{failures}}$

\frac{α + n_{s u c c e s s} - 1}{α + β + n_{s u c c e s s} + n_{f a i l u r e s} - 2}

$\frac{\alpha + n_{success} - 1}{\alpha + \beta + n_{success} + n_{failures} - 2}$

α = β = 1

$\alpha = \beta = 1$

— RMurphy

0

Bir yan not olarak, yukarıdaki türetime başka bir nokta daha eklemek istiyorum, ki bu aslında ana soruyla ilgili değil. Ancak, Dirichlet'in multinom dağılımındaki öncelikleri hakkında konuşurken, olasılıkları rahatsızlık verici değişkenler olarak kabul edersek, olasılık fonksiyonunun ne olacağını belirtmeye değer olduğunu düşündüm.

Doğru sydeulissie tarafından işaret ediyor olarak, olan orantılı . Şimdi burada hesaplamak istiyorum . $p(\pi | \alpha, x)$ $\prod_{i=1}^{K} \, \pi_i^{x_i+\alpha-1}$ $p(x|\alpha)$

p (x | α) = \int \prod_{i = 1}^{K} p (x | π_{i}, α) p (π | α) d π_{1} d π_{2} . . . d π_{K}

$\begin{equation} p(x | \alpha) = \int \prod_{i=1}^{K}p(x | \pi_i, \alpha)p(\pi|\alpha) \mathrm{d} \pi_1 \mathrm{d} \pi_2 ...\mathrm{d} \pi_K \end{equation}$

Gama işlevleri için ayrılmaz bir kimlik kullanıyoruz:

p (x | α) = \frac{Γ (K α)}{Γ (N + K α)} \prod_{i = 1}^{K} \frac{Γ (x_{i} + α)}{Γ (α)}

$\begin{equation} p(x|\alpha) = \frac{\Gamma(K\alpha)}{\Gamma(N + K\alpha)} \prod_{i=1}^{K} \frac{\Gamma(x_i + \alpha)}{\Gamma(\alpha)} \end{equation}$

Kategorik veri olasılığının yukarıdaki türetilmesi, numune büyüklüğünün yeterince büyük olmadığı durumlar için bu verilerle başa çıkmanın daha sağlam bir yolunu önerir . $N$

— Omidi
kaynak