Dirichlet işleminde konsantrasyon parametresine bir öncelik koymak

Bunların çoğu arka plan, Dirichlet işlem karışımları hakkında yeterince bilginiz varsa sonuna kadar atlayın . Diyelim ki bazı verileri Dirichlet işlemlerinin bir karışımından geliyormuş gibi modelleniyorum, yani $F \sim \mathcal D(\alpha H)$ ve şartlı $F$ üstlenmek

Y_{i} \overset{i i d}{\sim} \int f (y | θ) F (d θ) .

$Y_i \stackrel {iid}{\sim} \int f(y | \theta) F(d\theta).$

Burada ve önceki temel ölçüttür. Her gözlem için , ilişkili latent biliyorsanız, bu modeldeki olasılığının burada farklı değerlerinin sayısıdır (rastgele ölçü neredeyse kesin olarak ayrıktır). Escobar ve West , bir Gamma kullanarak örneklemesi için aşağıdaki şemayı geliştirdiler ; ilk olarak, yazarlar $\alpha > 0$ $\alpha H$ $Y_i$ $\theta_i$ $\alpha$

L (α | t) \propto \frac{α^{t} Γ (α)}{Γ (α + n)}

$L(\alpha | t) \propto \frac{\alpha^t\Gamma(\alpha)}{\Gamma(\alpha + n)}$

t

$t$

θ_{i}

$\theta_i$

F

$F$

α

$\alpha$

π (α | t) α π (α) \frac{α^{t} Γ (α)}{Γ (α + n)} α π (α) α^{t - 1} (α + n) B (α + 1, n) = π (α) α^{t - 1} (α + n) \int_{0}^{1} x^{α} (1 - x)^{n - 1} d x,

$\pi(\alpha | t) \propto \pi(\alpha) \frac{\alpha^t\Gamma(\alpha)}{\Gamma(\alpha + n)} \propto \pi(\alpha)\alpha^{t - 1}(\alpha + n){B(\alpha + 1, n)} \\= \pi(\alpha)\alpha^{t - 1} (\alpha + n) \int_0^1 x^\alpha(1 - x)^{n - 1} \ dx,$ burada beta işlevidir. Daha sonra, gizli bir parametresi , olasılıkın Gamma dağılımlarının bir karışımı biçiminde olduğunu ve bunu bir Gibbs örnekleyicisini yazmak için kullandığını unutmayın.

B (\cdot, \cdot)

$B(\cdot, \cdot)$

X \sim Beta (α + 1, n)

$X \sim \mbox{Beta}(\alpha + 1, n )$

Şimdi sorum. Neden sadece ve Gama dağıtımlarının bir karışımını kullanmak yerine tek bir Gama dağıtımı mı kullanıyorsunuz? Biz tanıtmak Eğer Ben aynı şeyi yapmak mümkün ama karışımını kullanmaya gerek kalmadan gerekmez mi?

L (α | t) \propto \frac{α^{t} Γ (α)}{Γ (α + n)} = \frac{α^{t} Γ (n) Γ (α)}{Γ (α + n) Γ (n)} = α^{t} B (α, n) Γ (n) \propto α^{t} \int_{0}^{1} x^{α - 1} (1 - x)^{n - 1} d x,

$L(\alpha | t) \propto \frac{\alpha^t \Gamma(\alpha)}{\Gamma(\alpha + n)} = \frac{\alpha^t \Gamma(n)\Gamma(\alpha)}{\Gamma(\alpha + n)\Gamma(n)} = \alpha^t B(\alpha, n) \Gamma(n) \\ \propto \alpha^t \int_0 ^ 1 x^{\alpha - 1} (1 - x)^{n - 1} \ dx,$

X \sim Beta (α, n)

$X \sim \mbox{Beta}(\alpha, n)$

Daha fazla ayrıntı için düzenleyin Daha Fazla Ayrıntı: Bazı boşlukları doldurmak için Escobar ve Batı'daki argüman, şekil ve ortalama , ile bir Gamma dağılımına izin ve böylece tanıtabiliriz gizli bir böyleceKoşulların tamamı için bir dağılımı ve bir ve bir $\alpha$ $a$ $a / b$

π (α | t) α α^{bir + t - 2} (α + n) e^{- b α} \int_{0}^{1} x^{α} (1 - x)^{n - 1} d x

$\pi(\alpha | t) \propto \alpha^{a + t - 2} (\alpha + n) e^{-b\alpha} \int_0 ^ 1 x^{\alpha} (1 - x)^{n - 1} \ dx$

X

$X$

π (α, x | t) α α^{bir + t - 2} (α + n) e^{- b α} x^{α} (1 - x)^{n - 1} .

$\pi(\alpha, x | t) \propto \alpha^{a + t - 2} (\alpha + n) e^{-b\alpha}x^{\alpha}(1 - x)^{n - 1}.$

Beta (α + 1, n)

$\mbox{Beta}(\alpha + 1, n)$

X

$X$

G (a + t, b - \log (x))

$\mathcal G(a + t, b - \log(x))$

G (a + t - 1, b - \log (x))

$\mathcal G(a + t - 1, b - \log(x))$ için .

α

$\alpha$

Aynı bağımsız değişken ile, aynı sonucu var fakat için ve için . Bu benim için daha kolay görünüyor; neden bunu yapmıyorlar? $\mbox{Beta}(\alpha, n)$ $X$ $\mathcal G(a + t, b - \log(x))$ $\alpha$

bayesian nonparametric-bayes

— insan
kaynak

Yazdıklarınızın Escobar ve West'ten nasıl farklı olduğunu görmüyorum.

\begin{array}{rcl} π (α | t) & α & π (α) π (t | α) = π (α) L (α | t) \\ α & π (α) α^{t} \frac{Γ (α)}{Γ (α + n)} \\ α & π (α) α^{t} \frac{Γ (α) Γ (n)}{Γ (α + n)} \\ = & π (α) α^{t} B (α, n) \\ = & π (α) α^{t - 1} (α + n) B (α + 1, n) \end{array}

$\begin{eqnarray*} \pi(\alpha|t) &\propto& \pi(\alpha)\pi(t|\alpha) = \pi(\alpha)L(\alpha|t) \\ &\propto& \pi(\alpha)\alpha^t\frac{\Gamma(\alpha)}{\Gamma(\alpha+n)} \\ &\propto& \pi(\alpha)\alpha^t\frac{\Gamma(\alpha)\Gamma(n)}{\Gamma(\alpha+n)} \\ &=& \pi(\alpha)\alpha^tB(\alpha,n) \\ &=& \pi(\alpha)\alpha^{t-1}(\alpha+n)B(\alpha+1,n) \end{eqnarray*}$ burada sondan ikinci satıra nasıl sahip olduğunuzu ve son satırı E&W'ye sahip olduğunuzu ve o zamandan beri eşit olduklarını

\begin{array}{rcl} α B (α, n) & = & α \frac{Γ (α) Γ (n)}{Γ (α + n)} = \frac{(α Γ (α)) Γ (n) (α + n)}{(Γ (α + n) (α + n))} = (α + n) \frac{Γ (α + 1) Γ (n)}{Γ (α + n + 1)} \\ = & (α + n) B (α + 1, n) \end{array}

$\begin{eqnarray*} \alpha B(\alpha,n) &=& \alpha \frac{\Gamma(\alpha)\Gamma(n)}{\Gamma(\alpha + n)} = \frac{(\alpha\Gamma(\alpha))\Gamma(n)(\alpha+n)}{(\Gamma(\alpha + n)(\alpha+n))} = (\alpha+n) \frac{\Gamma(\alpha + 1)\Gamma(n)}{\Gamma(\alpha + n + 1)} \\ &=& (\alpha+n)B(\alpha+1,n) \end{eqnarray*}$ bunu hatırlamak

Γ (z + 1) = z Γ (z)

$\Gamma(z+1) = z\Gamma(z)$ .

Formülasyonlarını sizinkine tercih ettiklerini tahmin ediyorum, çünkü sadece bir Beta ve Gamma ürünü değil, sadece Beta işlev terimi var, ama yanlış olabilirim. Yazdığınız son biti tam olarak takip etmedim, örnekleme planınız hakkında daha açık olabilir misiniz?

— Daniel Johnson
kaynak

Yayımıma fazladan ayrıntılar eklendi.

— adam