Gizli Markov modelleri ve beklenti maksimizasyon algoritması

Birisi gizli Markov modellerinin beklenti maksimizasyonu ile nasıl ilişkili olduğunu açıklayabilir mi? Birçok bağlantıdan geçtim ama net bir görüşe sahip olamadım.

Teşekkürler!

EM algoritması (beklenti maksimizasyonu), modelin gözlemlenen ve gözlemlenmeyen (gizli) bir bileşen açısından olasılıklı olarak belirtildiği durumlarda, olasılık işlevinin optimizasyonu için genel bir algoritmadır. HMM'ler (gizli Markov modelleri) gözlemlenmeyen bir bileşeni, gizli durumları olduğundan ve gerçek gözlemlere genellikle HMM terminolojisindeki emisyonlar denir . Bu nedenle, HMM'ler EM algoritmasının yararlı olabileceği bir model sınıfı oluşturur.

Genelde, model basitlik için sonlu bir alanda değerler aldığını varsaydığımız iki bileşenden oluşursa ve olasılıklı model spesifikasyonu noktası olasılıklarından oluşuyorsa tarafından parametrize çalışmaları sadece zaman, o zaman, uygunluk olan p θ ( x , y ) θ X = x U x ( θ ) = ∑ y p θ ( x , y ) . $(X,Y)$$p_{\theta}(x,y)$$\theta$$X = x$

$$L_x(\theta) = \sum_{y} p_{\theta}(x,y).$$ Toplam masum görünse de öyle değil. HMM'ler için toplam, gizli durumlar arasındaki olası tüm geçişler üzerinde olacaktır ve bu, gözlenen sekansın uzunluğu büyüdüğünde hızla müthiş bir sayı haline gelir. Neyse ki, olasılıkın hızlı bir şekilde hesaplanması için HMM'ler (ileri-geri) için algoritmalar vardır ve olasılık, ilke olarak, theta'nın maksimum olabilirlik tahmini için herhangi bir genel amaçlı optimizasyon algoritmasına takılabilir . Alternatif EM-algoritmasıdır. Bu, yinelemeli olarak$\theta$

• e adımlı bir bir hesaplama olup, koşullu gözlenen belirli bir beklenti mevcut tahmin altında$x$$\theta$
• M adımlı bir maksimize etmektir,

EM-algoritması, yukarıdaki iki adımın hesaplamalı olarak verimli bir şekilde uygulanıp uygulanamayacağı anlamlıdır (örneğin, koşullu beklenti ve maksimizasyon için kapalı form ifadeleri olduğunda).

Tarihsel olarak, genel EM-algoritması, diğer şeylerin yanı sıra, algoritmanın monoton artan olasılık değerlerine sahip bir dizi parametreye yol açtığını kanıtlayan Dempster, Laird ve Rubin'e yatırılır . Ayrıca "EM-algoritması" terimini ürettiler. İlginç bir şekilde, HMM'ler için EM-algoritması 1970 yılında Baum ve ark. ve aynı zamanda HMM literatüründe Baum-Welch algoritması olarak da adlandırılır (Welch'in ne yaptığını tam olarak bilmiyorum ...).

Beklenti Maksimizasyon, Gaussianların ve diğer Bayes ağ tipi modellerin bir karışımı gibi çeşitli farklı üretken istatistik modellerinde istatistiksel çıkarım yapmak için kullanılan yinelemeli bir yöntemdir. Tek bağlantı HMM'lerin aynı zamanda Bayes ağları olmasıdır. Ancak, HMM'ler üzerinde EM kullanılmayacaktır, çünkü Viterbi algoritması olarak adlandırılan HMM'lerde kesin bir algoritma vardır. Bu yüzden bir kişi HMM üzerinde çıkarsama yapmak için EM'yi kullanabilse de, bunu yapmak için bir neden yok.

HMM'de esas olarak üç parametreyi tahmin etmeye çalışıyoruz:

1. Başlangıç ​​durum olasılıkları. Bu, öğelerinin bulunduğu bir vektördür , burada , durum sayısıdır.$K$$K$

2. Geçiş matrisi. Bu, boyutunda kare bir matristir .$K\times K$

3. Bazı devletlere koşullu bir öğeyi gözlemlemenin koşullu olasılıkları. Bu aynı zamanda büyüklüğünde bir matristir , burada gözlem sayısıdır.$K\times N$$N$

Şimdi, EM kısmı yukarıda belirtilen miktarları / parametreleri tahmin etmeye çalıştığınızda gelir. Bazı rastgele tahminlerle başlayarak, gözlemlerin olasılığı değerlendirilir ve parametreler maksimum olasılık elde edene kadar tekrarlanır. Bu nedenle, HMM aracılığıyla bazı işlemleri modelliyoruz ve bunun için bazı parametreleri tanıtmamız gerekiyor. Parametreleri tahmin etmek için EM oluşturulur.

Bu çok kısa bir cevap. EM'yi uygulamak, bir dizi teknikle çözmek için bir dizi başka alt sorun gerektirir. Derinlemesine anlayış için, Rabiner klasik eğitim kağıdı şiddetle tavsiye edilir.