Konsantrasyon parametreleri üzerinde hiperprior dağılımlı multinomial-Dirichlet modeli

10

Elimdeki sorunu olabildiğince genel olarak anlatmaya çalışacağım. Gözlemleri bir parametre olasılık vektör tetası ile kategorik dağılım olarak modelleniyorum .

Sonra parametre vektör teta parametreleri ile bir Dirichlet önceki dağıtımını . $\alpha_1,\alpha_2,\ldots,\alpha_k$

Bu durumda parametreleri üzerine hiperprior dağılımı da uygulamak mümkün ? Kategorik ve dirichlet dağılımları gibi çok değişkenli bir dağıtım mı olacak? Bana göre alfalar her zaman pozitiftir, bu yüzden bir gamma hiper prior çalışmalıdır. $\alpha_1,\alpha_2,\ldots,\alpha_k$

Herkes böyle (muhtemelen) overparametrized modelleri uydurma denedi emin değilim ama alfa sabit olmamalı, daha ziyade bir gama dağıtım gelmesi gerektiğini düşünmek bana makul görünüyor.

Lütfen bana bu tür bir yaklaşımı pratikte nasıl deneyebileceğime dair bazı referanslar, öngörüler sağlamaya çalışın.

— Dnaiel
kaynak

Evet, bu mümkün ve yapıldı. Genel olarak buna Bayes hiyerarşik modeli denir. Tercihen, bu önceki olası bağımlılıkları hesaba katmalıdır.

@Prastrastinator teşekkürler. bu tür modellerle ilgilenen iyi Bayes hiyerarşik modelleri için referansınız var mı? Teşekkürler.

— Dnaiel

@Prorastinator: Bayes Hiyerarşik Modelleriyle ilgili herhangi bir makale / rapor veya ideal olarak uygulamalı başvuru belgesi almayı başardınız mı?

— Zhubarb

12

Bunun "aşırı gelişmiş" bir model olduğunu düşünmüyorum. Dirichlet parametrelerine bir öncelik koyarak, belirli bir sonuç hakkında daha az taahhüt sahibi olduğunuzu iddia ediyorum. Özellikle, olarak muhtemelen simetrik Dirichlet dağılımlar için, bilmek (yani ) ayarını iken, seyrek multinomial dağılımları daha önce olasılığını verir multinomial pürüzsüz daha önce olasılığını verir dağılımları. $\alpha_1 = \alpha_2 = ... \alpha_K$ $\alpha<1$ $\alpha>1$

Bir kimsenin seyrek veya yoğun multinom dağılımları için güçlü bir beklentisi olmadığı durumlarda, Dirichlet dağılımınıza bir hiper prior yerleştirmek, modelinize aralarında seçim yapmak için ek esneklik sağlar.

Başlangıçta bunu bu makaleden yapma fikrimi aldım . Kullandıkları aşırı değer önerdiğinizden biraz farklıdır. Bir dirichlet'ten bir olasılık vektörünü örnekliyorlar ve daha sonra üstel (veya gama) bir çekimle ölçeklendiriyorlar. Yani model

\begin{array}{rcl} β & \sim & D i r i c h l e t (1) \\ λ & \sim & E x p o n e n t i a l (\cdot) \\ θ & \sim & D i r i c h l e t (β λ) \end{array}

$\begin{eqnarray} \beta &\sim &Dirichlet(1)\\ \lambda& \sim &Exponential(\cdot)\\ \theta& \sim &Dirichlet(\beta\lambda) \end{eqnarray}$

Ekstra Dirichlet, simetri empoze etmekten kaçınmak içindir.

Ayrıca insanların çok yönlü emisyon dağılımları olan gizli markov modelleri bağlamında Dirichlet için sadece Gamma hiper kullandıklarını gördüm, ancak referans bulamıyorum. Ayrıca, konu modellerinde kullanılan benzer hiperlerle karşılaşmışım gibi görünüyor.

— Jerad
kaynak

Teşekkürler harika cevap! Bir kısa takip S'im var, bu model her bir thetas için farklı değişkenliğe izin verecek mi? Parametre lambda tüm thetas arasında paylaşıldığı için bu soruyu var, bu nedenle hepsi aynı ölçekleme parametresini paylaşır, bu nedenle modelin bu tür bir esneklik sağlayacağını merak ediyordum. Buradaki sezgi / bilginiz büyük beğeni topluyor! Teşekkürler!

— Dnaiel

@Dnaiel, sorunuzu yanlış anlamış olup olmadığımı söyle, ancak evet önce simetrik dirichlet ile bile,

, bu dağıtımdan çekişler seyrek üretme eğiliminde

vektörler. Seyrek olarak ifade etmek gerekirse,

vektörünü histogram olarak çizseydiniz, düz olmak yerine çok peaky olurdu. Yukarıdaki modelde, Dirichlet parametrelerini

parametresi bir dirichlet hiperpiorundan çektiği için simetrik değildir .

D i r i c h l e t (0.2, 0.2, 0.2, 0.2)

$Dirichlet(0.2, 0.2, 0.2, 0.2)$

θ

$\theta$

θ

$\theta$

β

$\beta$

— jerad

4

Bu hiperprior soruna bir çözüm göstermek için PyMC3'te hiyerarşik bir gama-Dirichlet-multinom modeli geliştirdim. Dirichlet'ten önceki gamma, Ted Dunning'in blog gönderisine göre belirlenir ve örneklenir .

Uyguladığım model bu Gist'te bulunabilir, ancak aşağıda da açıklanmıştır:

Bu film derecelendirmeleri için bir Bayes hiyerarşik (havuzlama) modelidir. Her film sıfırdan beşe kadar bir ölçekte derecelendirilebilir. Her film birkaç kez derecelendirilir. Her film için derecelendirmelerin düzgün bir dağılımını bulmak istiyoruz.

Verilerden film derecelendirmeleri üzerinde üst düzey bir önceki dağılım (hiperprior) öğreneceğiz. Daha sonra her filmin kendi önceliği olacaktır, bu daha önce bu üst seviye tarafından düzeltilir. Bunu düşünmenin bir başka yolu, her film için derecelendirmelerden önce grup düzeyinde veya havuzda dağıtılacak şekilde küçülecek olmasıdır.

Bir filmin atipik bir derecelendirme dağılımı varsa, bu yaklaşım derecelendirmeleri beklenenden daha uyumlu bir şeye çekecektir. Ayrıca, daha önce öğrenilenler, çok sayıda derecelendirmeye sahip filmlerle anlamlı bir şekilde karşılaştırılmalarına izin vermek için az sayıda derecelendirmeye sahip filmleri önyüklemek için yararlı olabilir.

Model aşağıdaki gibidir:

$\gamma_{k=1...K} \sim Gamma(\alpha, \beta)$

$\theta_{m=1...M} \sim Dirichlet_M(c\gamma_1, ..., c\gamma_K)$

$z_{m=1...M,n=1...N_m} \sim Categorical_M(\theta_m)$

nerede:

$K$ $K = 6$
$M$
$N_m$ $m$
$\alpha = 1 / K$
$\beta$
$c$
$\gamma_k$ $k$
$\theta_m$ $K$
$z_{mn}$ $n$ $m$

— Brad B
kaynak

1

Bu doğrudan bir Bayesci eşlenik önceki modelleme. Beta-Binom modelinden doğal bir uzatma. Bunun için iyi bir kaynak kitaptan olabilir . Posterior da Dirichlet'tir ve bu nedenle dirichlet'ten simüle edilmesi gereken özetleri verecektir.

— Subbiah
kaynak

1

Teşekkürler. Böyle bir kitaba aşinayım, harika referans. Buna bakmaya çalıştım, ancak doğrudan bu tür çok uluslu hiyerarşik modeli sağlamıyorlar, ancak uygulanabilecek tonlarca iyi fikirleri var.

— Dnaiel

1

Dirichlet-multinomial bir konjugat modeldir, ancak op Dirichlet'in parametrelerinden önce bir (hiper-) hakkında sorgulamıştır. Dirichlet dağılımı için standart bir eşlenik yoktur, ancak üstel ailenin bir üyesi olduğu için gerçekte var olmalıdır .

— jerad