HMM bağlantısında MLE ve Baum Welch arasındaki fark

Gelen bu popüler soruya , yüksek upvoted cevap MLE ve Baum Welch HMM uydurma ayrı yapar.

Eğitim problemi için aşağıdaki 3 algoritmayı kullanabiliriz: MLE (maksimum olabilirlik tahmini), Viterbi eğitimi (Viterbi kod çözme ile karıştırmayın), Baum Welch = ileri-geri algoritma

ANCAK Wikipedia'da diyor

Baum-Welch algoritması, parametrelerin maksimum olabilirlik tahminini bulmak için iyi bilinen EM algoritmasını kullanır

Peki, MLE ve Baum-Welch algoritması arasındaki ilişki nedir?

Benim girişimim: Baum – Welch algoritmasının amacı, olasılığı en üst düzeye çıkarmaktır, ancak optimizasyonu çözmek için özel bir algoritma (EM) kullanır. Degrade terbiyeli gibi diğer yöntemleri kullanarak yine de olasılığı en üst düzeye çıkarabiliriz. Bu yüzden cevap iki algoritmayı birbirinden ayırır.

Haklı mıyım ve herhangi biri netleştirmeme yardımcı olabilir mi?

Verdiğiniz soru bağlantısından (Masterfool tarafından) yanıtlardan birine bakın,

Morat'ın cevabı bir noktada yanlıştır: Baum-Welch, bir HMM'nin parametrelerini eğitmek için kullanılan bir Beklenti-Maksimizasyon algoritmasıdır. Her yineleme sırasında ileri-geri algoritmasını kullanır. İleri-geri algoritması gerçekten sadece ileri ve geri algoritmalarının bir kombinasyonudur: bir ileri geçiş, bir geri geçiş.

Ve burada PierreE'nin cevabına katılıyorum, Baum – Welch algoritması HHM'deki maksimum olasılığı çözmek için kullanılıyor. Durumlar biliniyorsa (denetimli, etiketli dizi), o zaman MLE'yi en üst düzeye çıkaran başka bir yöntem kullanılır (belki de, eğitim verilerinde gözlemlenen her emisyon ve geçişin sıklığını sayın, Franck Dernoncourt tarafından sağlanan slaytlara bakın ).

HMM için MLE ayarında, sadece degrade iniş kullanabileceğinizi düşünmüyorum, çünkü olabilirlik (veya günlük olabilirlik) kapalı formlu bir çözüme sahip değildir ve durumdaki gibi tekrarlamalı olarak çözülmelidir. Bu yüzden EM'ye dönüyoruz. (Daha fazla ayrıntı için Piskopos, Örüntü Tanıma kitabı, bölüm 13.2.1 Sf614)

Peki, MLE ve Baum-Welch algoritması arasındaki ilişki nedir?

Beklenti maksimizasyon (EM) algoritması daha geneldir ve Baum-Welch algoritması basitçe bunun bir örneğidir ve EM maksimum olabilirlik (ML) için yinelemeli bir algoritmadır. Sonra Baum-Welch algoritması da maksimum olasılık için yinelemeli bir algoritmadır.

Normalde maksimum olabilirlik tahmini için üç optimizasyon algoritması vardır (frekansçı bir yaklaşım): 1) gradyan inişi; 2) Markov Zinciri Monte Carlo; 3) Beklenti maksimizasyonu.

Bu soru birkaç aydır buradadır, ancak bu cevap yeni okuyuculara David Batista'nın yorumunun bir tamamlayıcısı olarak yardımcı olabilir.

Baulm-Welch algoritması (BM), durumlar bilinmediğinde / gizlendiğinde (denetimsiz eğitim) HMM'nizi eğitmek için maksimum olabilirlik tahminini (MLE) çözmek için bir beklenti maksimizasyon algoritmasıdır.

Ancak durumları biliyorsanız, modelinizi denetlenen bir şekilde veri / durumlara eşleştirmek için bir MLE yöntemi (BM olmayacaktır) kullanabilirsiniz.