EM algoritması Uygulama Sorunu

Bu bir ara sınav için pratik bir problemdir. Sorun bir EM algoritması örneğidir. (F) kısmı ile sorun yaşıyorum. Tamamlanması için (a) - (e) bölümlerini listelerim ve daha önce bir hata yapmam durumunda.

İzin Vermek $X_1,\ldots,X_n$ oranlı bağımsız üstel rasgele değişkenler olmak $\theta$. Ne yazık ki, gerçek$X$ değerlere uyulmaz ve yalnızca $X$değerler belirli aralıklarla düşer. İzin Vermek$G_{1j} = \mathbb{1}\left\{X_j < 1\right\}$, $G_{2j} = \mathbb{1}\left\{1< X_j<2\right\}$, ve $G_{3j} = \mathbb{1}\left\{X_j > 2\right\}$ için $j=1,\ldots,n$. Gözlenen veriler$(G_{1j},G_{2j},G_{3j})$.

(a) Gözlenen veri olasılığını verin:

$\begin{align*} L(\theta | G) &= \prod_{j=1}^n \text{Pr}\left\{X_j < 1\right\}^{G_{1j}}\text{Pr}\left\{1<X_j<2 \right\}^{G_{2j}}\text{Pr}\left\{X_j >2\right\}^{G_{3j}}\\ &= \prod_{j=1}^n \left(1-e^{-\theta}\right)^{G_{1j}}\left(e^{-\theta}-e^{-2\theta}\right)^{G_{2j}}\left(e^{-2\theta}\right)^{G_{3j}} \end{align*}$

(b) Veri olasılığının tamamını verin

$\begin{align*} L(\theta | X,G) &= \prod_{j=1}^n \left(\theta e^{-\theta x_j}\right)^{G_{1j}}\left(\theta e^{-\theta x_j}\right)^{G_{2j}}\left(\theta e^{-\theta x_j}\right)^{G_{3j}} \end{align*}$

(c) Gizli değişkenin tahmin yoğunluğunu türetmek $f(x_j|G,\theta)$

$\begin{align*} f(x_j|G,\theta) &= \dfrac{f_{X,G}(x_j, g)}{f_G(g)}\\ &= \dfrac{ \theta e^{-\theta x_j}\mathbb{1}\left\{x_j \in \text{region r s.t. } G_{rj}=1\right\}}{\left(1-e^{-\theta}\right)^{g_{1j}}\left(e^{-\theta}-e^{-2\theta}\right)^{g_{2j}}\left(e^{-2\theta}\right)^{g_{3j}}} \end{align*}$

(d) E-adımı. İşlevi ver$Q(\theta,\theta^i)$

$\begin{align*} Q(\theta,\theta^i) &= \text{E}_{X|G,\theta^i}\left[ \log{f(\mathbf{x}|G,\theta)}\right]\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} - N_2\log{(e^{-\theta}-e^{-2\theta})} - N_3\log{e^{-2\theta}}\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} - N_2\log{(e^{-\theta}(1-e^{-\theta}))} + 2\theta N_3\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3 \end{align*}$

nerede $N_1=\sum_{j=1}^n g_{1j}, N_2=\sum_{j=1}^n g_{2j}, N_3=\sum_{j=1}^n g_{3j}$

(e) için ifadeler vermek $\text{E}\left[X_j|G_{rj}=1,\theta^i\right]$ için $r=1,2,3$.

Doğru olduğundan emin olduğum sonuçlarımı listeleyeceğim, ancak bu zaten soru için türevler biraz uzun olurdu:

$\begin{align*} \text{E}\left[X_j|G_{1j}=1,\theta^i\right] &= \left(\dfrac{1}{1-e^{-\theta^i}}\right)\left(\dfrac{1}{\theta^i}-e^{-\theta^i}(1+1/\theta^i)\right)\\ \text{E}\left[X_j|G_{2j}=1,\theta^i\right] &= \left(\dfrac{1}{e^{-\theta^i}-e^{-2\theta^i}}\right)\left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right)\\ \text{E}\left[X_j|G_{3j}=1,\theta^i\right] &= \left(\dfrac{1}{e^{-2\theta^i}}\right)\left(e^{-2\theta^i}(2+1/\theta^i)\right) \end{align*}$

Bu, takılıp kaldı bölüm ve daha erken bir hata nedeniyle olabilir:

(f) M-Adımı. Bul$\theta$ en üst düzeye çıkarmak $Q(\theta,\theta^i)$

Toplam beklenti kanununa göre $\begin{align*} \text{E}\left[X_j|G,\theta^i\right] &= \left(\dfrac{1}{\theta^i}-e^{-\theta^i}(1+1/\theta^i)\right) + \left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right) + \left(e^{-2\theta^i}(2+1/\theta^i)\right)\\ &= 1/\theta^i \end{align*}$ onun için

$\begin{align*} Q(\theta,\theta^i) &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3\\ &= n\log{\theta} - \theta\dfrac{n}{\theta^i} - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3\\ \dfrac{\partial Q(\theta,\theta^i)}{\partial \theta} &= \dfrac{n}{\theta} - \dfrac{n}{\theta^i} - \dfrac{(N_1+N_2)e^{-\theta}}{1-e^{-\theta}} + N_2+2N_3 \end{align*}$

Sonra bunu sıfıra eşitlemeli ve çözmeliyim $\theta$, ama bunu çok uzun zamandır denedim ve çözemiyorum $\theta$!

Tam veri olasılığı G! Basitçe$\theta$ ne zaman $X$'leri üsteldir. Yazdığınız gibi tam veri olasılığının, yalnızca bir tanesinin$G_{rj}$'s 1 olabilir. $G$ancak tam veri olasılığı içinde, ancak daha sonra berbat.

Kısım (d), gözlemlenen veri günlüğü olasılığını değil, tam veri günlüğü olasılığını beklemek zorundadır.

Ayrıca, toplam beklenti yasasını kullanmamalısınız! G'nin gözlemlendiğini ve rastgele olmadığını hatırlayın, bu nedenle her biri için bu koşullu beklentilerden yalnızca birini gerçekleştirmelisiniz.$X_j$. Bu koşullu beklentiyi yalnızca$X_j^{(i)}$ ve ardından M adımını gerçekleştirin.

@ Jsk adlı kullanıcının yorumlarına dayanarak hatalarımı düzeltmeye çalışacağım:

$\begin{align*} L(\theta|X,G) &= \prod_{j=1}^n \theta e^{-\theta x_j} \end{align*}$

$\begin{align*} Q(\theta,\theta^i) &= n\log{\theta} - \theta\sum_{j=1}^n \text{E}\left[X_j|G,\theta^i\right]\\ &= n\log{\theta} - \theta\left(\dfrac{\sum_{j=1}^n g_{1j}}{1-e^{-\theta^i}}\right)\left(\dfrac{1}{\theta^i} - e^{-\theta^i}(1+1/\theta^i)\right) - \theta\left(\dfrac{\sum_{j=1}^n g_{2j}}{e^{-\theta^i}(1-e^{-\theta^i})}\right)\left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right) - \theta\left(\dfrac{\sum_{j=1}^n g_{3j}}{e^{-2\theta^i}}\right)\left(e^{-2\theta^i}(2+1/\theta^i)\right)\\ &= n\log{\theta} - \theta N_1 A - \theta N_2 B - \theta N_3 C\\ \dfrac{\partial Q(\theta,\theta^i)}{\partial \theta} &= \dfrac{n}{\theta} - N_1A-N_2B - N_3C \overset{set}{=}0 \end{align*}$

için çözme $\theta$ aldık $\theta^{(i+1)} = \dfrac{n}{N_1A+N_2B+N_3C}$