EM algoritması Uygulama Sorunu


9

Bu bir ara sınav için pratik bir problemdir. Sorun bir EM algoritması örneğidir. (F) kısmı ile sorun yaşıyorum. Tamamlanması için (a) - (e) bölümlerini listelerim ve daha önce bir hata yapmam durumunda.

İzin Vermek X1,,Xn oranlı bağımsız üstel rasgele değişkenler olmak θ. Ne yazık ki, gerçekX değerlere uyulmaz ve yalnızca Xdeğerler belirli aralıklarla düşer. İzin VermekG1j=1{Xj<1}, G2j=1{1<Xj<2}, ve G3j=1{Xj>2} için j=1,,n. Gözlenen veriler(G1j,G2j,G3j).

(a) Gözlenen veri olasılığını verin:

L(θ|G)=j=1nPr{Xj<1}G1jPr{1<Xj<2}G2jPr{Xj>2}G3j=j=1n(1eθ)G1j(eθe2θ)G2j(e2θ)G3j

(b) Veri olasılığının tamamını verin

L(θ|X,G)=j=1n(θeθxj)G1j(θeθxj)G2j(θeθxj)G3j

(c) Gizli değişkenin tahmin yoğunluğunu türetmek f(xj|G,θ)

f(xj|G,θ)=fX,G(xj,g)fG(g)=θeθxj1{xjregion r s.t. Grj=1}(1eθ)g1j(eθe2θ)g2j(e2θ)g3j

(d) E-adımı. İşlevi verQ(θ,θi)

Q(θ,θi)=EX|G,θi[logf(x|G,θ)]=nlogθθj=1nE[Xj|G,θi]N1log(1eθ)N2log(eθe2θ)N3loge2θ=nlogθθj=1nE[Xj|G,θi]N1log(1eθ)N2log(eθ(1eθ))+2θN3=nlogθθj=1nE[Xj|G,θi]N1log(1eθ)+θN2N2log(1eθ)+2θN3

nerede N1=j=1ng1j,N2=j=1ng2j,N3=j=1ng3j

(e) için ifadeler vermek E[Xj|Grj=1,θi] için r=1,2,3.

Doğru olduğundan emin olduğum sonuçlarımı listeleyeceğim, ancak bu zaten soru için türevler biraz uzun olurdu:

E[Xj|G1j=1,θi]=(11eθi)(1θieθi(1+1/θi))E[Xj|G2j=1,θi]=(1eθie2θi)(eθi(1+1/θi)e2θi(2+1/θi))E[Xj|G3j=1,θi]=(1e2θi)(e2θi(2+1/θi))

Bu, takılıp kaldı bölüm ve daha erken bir hata nedeniyle olabilir:

(f) M-Adımı. Bulθ en üst düzeye çıkarmak Q(θ,θi)

Toplam beklenti kanununa göre E[Xj|G,θi]=(1θieθi(1+1/θi))+(eθi(1+1/θi)e2θi(2+1/θi))+(e2θi(2+1/θi))=1/θi onun için

Q(θ,θi)=nlogθθj=1nE[Xj|G,θi]N1log(1eθ)+θN2N2log(1eθ)+2θN3=nlogθθnθiN1log(1eθ)+θN2N2log(1eθ)+2θN3Q(θ,θi)θ=nθnθi(N1+N2)eθ1eθ+N2+2N3

Sonra bunu sıfıra eşitlemeli ve çözmeliyim θ, ama bunu çok uzun zamandır denedim ve çözemiyorum θ!


Yorum yapıyordum θi gücü olarak θbir dakikalığına. En kafa karıştırıcı. Genellikle yineleme numarası (adım numarası) parantez içine alınır[i] veya parantez (i) Böylece θ(i) ile karıştırılmamış igüç θi. Muhtemelen en azından soruda ne olduğunu söylemek en iyisidir (şimdi doğru olduğunu varsayarak).
Glen_b

1
Evet Glen, bunun için üzgünüm, gerçekten iEM algoritmasının yinelemesi.
bdeonovic

Yanıtlar:


5

Tam veri olasılığı G! Basitçeθ ne zaman X'leri üsteldir. Yazdığınız gibi tam veri olasılığının, yalnızca bir tanesininGrj's 1 olabilir. Gancak tam veri olasılığı içinde, ancak daha sonra berbat.

Kısım (d), gözlemlenen veri günlüğü olasılığını değil, tam veri günlüğü olasılığını beklemek zorundadır.

Ayrıca, toplam beklenti yasasını kullanmamalısınız! G'nin gözlemlendiğini ve rastgele olmadığını hatırlayın, bu nedenle her biri için bu koşullu beklentilerden yalnızca birini gerçekleştirmelisiniz.Xj. Bu koşullu beklentiyi yalnızcaXj(i) ve ardından M adımını gerçekleştirin.


@Benjamin Sorun nasıl ortaya çıkıyor? Nasıl yapılacağını anlamanıza yardımcı oldum mu?
jsk

@Jsk yorumlarınız için teşekkürler. Dün gece yorgundum, bu yüzden yatağa gittim, ama bu sabah kahvaltıdan sonra tekrar mücadele
edeceğim

Sanırım çözdüm! Tekrar teşekkürler! Bu aslında bugün sahip olduğum bir finale hazırlanmaktaydı, bu yüzden EM hakkında bazı şeyleri netleştirmeye yardımcı oldu.
bdeonovic

Rica ederim. Umarım finaliniz bugün iyi gidiyor!
jsk

4

@ Jsk adlı kullanıcının yorumlarına dayanarak hatalarımı düzeltmeye çalışacağım:

L(θ|X,G)=j=1nθeθxj

Q(θ,θi)=nlogθθj=1nE[Xj|G,θi]=nlogθθ(j=1ng1j1eθi)(1θieθi(1+1/θi))θ(j=1ng2jeθi(1eθi))(eθi(1+1/θi)e2θi(2+1/θi))θ(j=1ng3je2θi)(e2θi(2+1/θi))=nlogθθN1AθN2BθN3CQ(θ,θi)θ=nθN1AN2BN3C=set0

için çözme θ aldık θ(i+1)=nN1A+N2B+N3C

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.