Değişken Bayes ve EM arasındaki ilişki

Bir yerde Değişken Bayes yönteminin EM algoritmasının bir genellemesi olduğunu okudum. Aslında, algoritmaların yinelemeli kısımları çok benzer. EM algoritmasının Variational Bayes'ın özel bir sürümü olup olmadığını test etmek için aşağıdakileri denedim:

$Y$ veri, gizli değişkenlerin toplanması ve parametrelerdir. Varyasyonel . Nerede ler daha basit, uysal dağılımları vardır. $X$ $\Theta$ $P(X,\Theta|Y) \approx Q_X(X)Q_\Theta(\Theta)$ $Q$
EM algoritması bir MAP noktası tahmini bulduğundan, şöyle bir Delta İşlevi kullanırsam Varyasyonel Bayes'in EM'ye yaklaşabileceğini düşündüm: . , genellikle yapılan parametrelerin ilk tahminidir. $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$ $\Theta_1$
Tüm verilir, KL Uyumsuzluğu minimize formülü ile bulunan Yukarıdaki formül basitleştiriyor , bu adım Beklenti adımının eşdeğeri gibi görünüyor EM algoritmasının! $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$ $Q^1_X(X)$
$Q_{X}^{1} (X) = \frac{\exp (E_{δ_{Θ^{1}}} [\ln P (X, Y, Θ)])}{\int \exp (E_{δ_{Θ^{1}}} [\ln P (X, Y, Θ)]) d X}$ $Q^1_X(X)=\frac{\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])}{\int\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])dX}$ $Q^1_X(X)=P(X|\Theta^1,Y)$

Ancak, Maksimizasyon adımını bunun devamı olarak çıkaramıyorum. Bir sonraki adımda ve Variational Bayes yineleme kuralına göre hesaplamamız gerekiyor : $Q^2_\Theta(\Theta)$

Q_{Θ}^{2} (Θ) = \frac{\exp (E_{P (X | Θ^{1}, Y)} [\ln P (X, Y, Θ)])}{\int \exp (E_{P (X | Θ^{1}, Y)} [\ln P (X, Y, Θ)]) d Θ}

$Q^2_\Theta(\Theta)=\frac{\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])}{\int\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])d\Theta}$

VB ve EM algoritmaları bu şekilde gerçekten bağlanmış mı? EM'yi Varyasyonel Bayes'in özel bir hali olarak nasıl türetebiliriz, yaklaşımım doğru mu?

bayesian expectation-maximization variational-bayes

— Ufuk Can Bicici
kaynak

EM algoritmasının bir MAP tahmini bulduğunu nerede okudunuz? Varyasyonel çıkarım ile EM arasındaki ilişki , bu makalede Neal ve Hinton (1998) tarafından sunulan EM'in görüşünü anladığınızda netleşecektir . Ayrıca cevabımı burada gör .

— Lucas,

EM algoritmasını bu makalede açıklandığı şekilde öğrendim, sanırım alt sınır maksimizasyon sorunu olarak görülüyor. Jensen eşitliği ve çeşitlilik hesabı kullanılarak, beklenti adımında nin için alt sınırı maksimize ettiği ve maksimizasyon adımında nın bulunmadığı dağılım olduğu görülmektedir. , bu alt sınırda bir maksimumdur. Yani, bu Değişken Bayes'e benzer. (Ve yerel bir maksimum değerin yerel maksimum

P (X | Θ^{t}, Y)

$P(X|\Theta^t,Y)$

Θ^{t}

$\Theta^t$

Θ^{t + 1} = a r g m a x_{Θ} < \ln P (X, Y, Θ) >_{P (X | Θ^{t}, Y)}

$\Theta^{t+1} = arg max_{\Theta} <\ln P(X,Y,\Theta)>_{P(X|\Theta^t,Y)}$

— değerine yakınsayar

Özür dilerim, sorunuza yeterince dikkat etmedim. yi hesaplamak için maksimizasyon adımınızın sadece herhangi bir dağıtıma izin verirseniz, yani sadece çarpanlara ayırma varsayımını yaparsanız geçerli olacağını düşünüyorum. Ancak ek olarak, bir delta dağıtımı olduğunu varsaydınız . Alt sınırı parametresi olan göre açıkça maksimize etmeyi deneyin .

Q_{Θ}^{2}

$Q_\Theta^2$

Q_{Θ}^{2}

$Q_\Theta^2$

Θ^{2}

$\Theta^2$

Q_{Θ}^{2} (Θ) = δ_{Θ^{2}} (Θ)

$Q_\Theta^2(\Theta) = \delta_{\Theta^2}(\Theta)$

— Lucas,

Sunumun 21. sayfasında bulundu: cs.cmu.edu/~tom/10-702/Zoubin-702.pdf , Dirac işlevi kullanılarak benzer şekilde EM ve VB karşılaştırması da gösterildi. Ancak VB'nin EM'ye nasıl azaldığı gösterilmemiştir.

— Ufuk Can Bicici

Yaklaşımın doğru. EM, için yaklaşık arka bir nokta kütlesi olarak sınırlandırıldığı kısıtlaması altında VB'ye eşdeğerdir . (Bu, Bayesian Veri Analizinin 337. sayfasında kanıt olmadan belirtilmiştir .) Bu nokta kütlesinin bilinmeyen konumu olsun : VB Aşağıdaki KL farklılığını en aza indirin: üzerindeki minimum E-adımını verir ve üzerindeki minimum M-adımını verir. $\Theta$ $\Theta^*$

Q_{Θ} (Θ) = δ (Θ - Θ^{*})

$Q_\Theta(\Theta) = \delta(\Theta - \Theta^*)$

K L (Q | | P) = \int \int Q_{X} (X) Q_{Θ} (Θ) \ln \frac{Q_{X} (X) Q_{Θ} (Θ)}{P (X, Y, Θ)} d X d Θ = \int Q_{X} (X) \ln \frac{Q_{X} (X) Q_{Θ} (Θ^{*})}{P (X, Y, Θ^{*})} d X

$KL(Q||P)=\int \int Q_X(X) Q_\Theta(\Theta) \ln \frac{Q_X(X) Q_\Theta(\Theta)}{P(X,Y,\Theta)} dX d\Theta \\ = \int Q_X(X) \ln \frac{Q_X(X) Q_\Theta(\Theta^*)}{P(X,Y,\Theta^*)} dX$

Q_{X} (X)

$Q_X(X)$

Θ^{*}

$\Theta^*$

Elbette, eğer KL farklılıklarını gerçekten değerlendirmek isteseydiniz, sonsuz olurdu. Ancak delta fonksiyonunun bir limit olduğunu düşünüyorsanız, bu bir problem değildir.

— Tom Minka
kaynak

Teknik olarak, wrt , MAP-EM'nin M basamağına karşılık gelir (önceki ). - VBEM makalesinin 3.1 bölümü

E_{Q_{x}} [\ln P (X, Y, Θ^{*})] = E_{Q_{x}} [\ln P (X, Y | Θ^{*})] + \ln P (Θ^{*})

$\mathbb{E}_{Q_x}[\ln P(X, Y, \Theta^*)] = \mathbb{E}_{Q_x}[\ln P(X, Y | \Theta^*)] + \ln P(\Theta^*)$

Θ^{*}

$\Theta^*$

P (Θ^{*})

$P(\Theta^*)$

— Yibo Yang