Dirichlet dağılımı neden multinom dağılımının önceliğidir?

36

LDA konu model algoritmasında bu varsayımı gördüm. Ama neden Dirichlet dağılımını seçtiğimi bilmiyorum? Multinomial üzerinden Uniform dağılımını çift olarak kullanabilir miyiz?

bayesian dirichlet-distribution conjugate-prior

— ColinBinWang
kaynak

5

Düzgün dağılım dirichlet dağılımının özel bir halidir.

— Stumpy Joe Pete

60

Dirichlet dağılımı a, önceden konjuge çokterimli dağıtımı için. Bunun anlamı, eğer multinomiyal parametrelerin önceden dağılımı Dirichlet ise, o zaman posterior dağılımı da bir Dirichlet dağılımıdır (öncekilerden farklı parametrelerle). Bunun yararı (a) posterior dağılımın hesaplanması kolaydır ve (b) bir şekilde veri toplandıktan sonra inançlarımızın ne kadar değiştiğini ölçmek mümkündür.

Belirli bir önceliği seçmek için bunların iyi nedenler olup olmadığı tartışılabilir, çünkü bu kriterler gerçek önceki inançlarla ilişkili değildir ... Bununla birlikte, eşlenik öncüller, yukarıda belirtilen sebeplerle genellikle makul derecede esnek ve uygun olduklarından popülerdirler. .

Multinom dağılımının özel durumu için, multinom parametrelerinin (yani farklı kategoriler için olasılıklar vektörü olsun. Eğer veri toplama öncesinde, daha sonra, belirli bir gözlem farklı kategoride, $(p_1,\ldots,p_k)$

(p_{1}, \dots, p_{k}) \sim Dirichlet (α_{1}, \dots, α_{k})

$(p_1,\ldots,p_k)\sim \mbox{Dirichlet}(\alpha_1,\ldots,\alpha_k)$

(x_{1}, \dots, x_{k})

$(x_1,\ldots,x_k)$

(p_{1}, \dots, p_{k}) | (x_{1}, \dots, x_{k}) \sim Dirichlet (α_{1} + x_{1}, \dots, α_{k} + x_{k}) .

$(p_1,\ldots,p_k)\Big|(x_1,\ldots,x_k)\sim \mbox{Dirichlet}(\alpha_1+x_1,\ldots,\alpha_k+x_k).$

Tekdüze dağılım aslında Dirichlet dağılımının özel bir durumudur; durumuna karşılık gelir . Bu yüzden en küçük bilgilendirici önce Jeffreys için . Dirichlet sınıfının bu doğal "bilgilendirici olmayan" öncelikleri içermesi gerçeği, onu kullanmak için başka bir nedendir. $\alpha_1=\alpha_2=\cdots=\alpha_k=1$ $\alpha_1=\cdots=\alpha_k=1/2$

— MånsT
kaynak

Bu yüzden bu avantajlar için Dirichlet dağıtımını seçiyoruz.

— ColinBinWang

1

+1: Açıkçası, olasılığın zorunlu olarak Dirichlet olduğunu söylemek isteyebilirsiniz, bu yüzden posterior dağılımın hesaplanması kolaydır.

— Neil G,

18

Ayrıca Måns T 'ın cevabına aykırı olmak yerine , Bayesian modellemede “öncek” diye bir şeyin olmadığını işaret ediyorum! Dirichlet dağılımı (a) eşleniklik, (b) hesaplama ve (c) parametrik olmayan istatistiklerle bağlantı (çünkü Dirichlet işleminin ayrıklaştırılmış versiyonu olduğundan) nedeniyle uygun bir seçimdir.

Bununla birlikte, (i) multinomun ağırlığına ne koyduğunuz ne olursa olsun, öznel Bayes seviyesindeki meşru bir cevaptır ve (ii) önceden bilgi olması durumunda Dirichlet dağılımına basitleştirilmesi için hiçbir neden yoktur. Ayrıca, Dirichlet dağılımlarının karışımları ve konvolüsyonlarının öncelikli olarak kullanılabileceğini unutmayın.

— Xi'an
kaynak