EM, sezgisel bir açıklama var mı?


16

EM prosedürü, başlatılmayanlara, az ya da çok kara büyü olarak görünür. Denetlenen verileri kullanarak bir HMM'nin parametrelerini (örneğin) tahmin edin. Ardından, etiketlenmemiş verilerin kodlarını, veriler aşağı yukarı etiketlenmiş gibi 'saymak' için ileri-geri kullanarak çözün. Bu neden modeli daha iyi hale getiriyor? Matematik hakkında bir şeyler biliyorum, ama onun bir tür zihinsel resmi olmasını diliyorum.


Emin değilim ama bunu stocastic degrade iniş optimizasyonu prosedürü olarak yorumlamanın mümkün olduğunu düşünüyorum. Bunu düşüneceğim ...
Robin Girard

Yanıtlar:


12

Bazı yazımları kaydetmek için, gözlemlenen verileri , eksik verileri Z (örn. HMM'nin gizli durumları) ve Q'yu bulmaya çalıştığımız parametre vektörünü (örn. Geçiş / emisyon olasılıkları) arayın .XZQ

Sezgisel açıklama temelde, hile bildiğimiz bir an için taklit olduğunu biz dönüş bize sağlayan en çok MLE bulduğu Z koşullu dağılımını bulabilmesi için Q an için temelde dairesel yapıyoruz gerçeğini görmezden ( ), sonra aldattığımızı, Q için yeni, daha iyi değerimizi koyduğumuzu ve artık aldatmak zorunda kalmayıncaya kadar tekrar tekrar yaptığımızı itiraf edin .QQQ

Biraz daha teknik, gerçek değeri biliyoruz davranarak , biz koşullu dağılımı hakkında bir şeyler bilmek gibi davranabilirsin Z | { X , Q } bize yönelik tahminini geliştirmek sağlar, Q şimdi gerçek değeri taklit, Q biz koşullu dağılımı hakkında bir şeyler biliyormuş gibi, böylece Z | { X , Q } bize yönelik tahminini geliştirmek sağlar, Q , ... vb.QZ|{X,Q}QQZ|{X,Q}Q

Daha da teknik olarak, bilseydik , günlüğü ( f ( Q | X , Z ) ) en üst düzeye çıkarabilir ve doğru cevabı alabiliriz. Sorun şu ki , Z'yi bilmiyoruz ve Q için herhangi bir tahmin ona bağlı olmalıdır. Ancak Z için en iyi tahmini (veya dağılımı) bulmak istiyorsak , X ve Q'yu bilmemiz gerekir . Analitik olarak benzersiz maksimizatörü istiyorsak tavuk ve yumurta durumunda sıkışıp kalırız.Zlog(f(Q|X,Z))ZQZXQ

Herhangi bir tahmin için - Bizim 'dışarı' olmasıdır (diyoruz Q n ) - biz dağılımını bulabilirsiniz Z | { Q n , X } ve böylece beklenen ortak günlük olasılığımızı Q | { X , Z } şartlı dağılımı ile ilgili olarak, Z | { Q n , X } . Bu nasıl koşullu dağılım temelde söyler Z mevcut değerine bağlıdır Q verilen XQQnZ|{Qn,X}Q|{X,Z}Z|{Qn,X}ZQXVe bize nasıl değiştirileceğini bildiren hem bizim olasılığını artırmak için Q ve Z belirli bir değeri için aynı anda Q (biz hitap ettin ya Q n ). Yeni bir dışarı aldı sonra Q n + 1 , biz için farklı koşullu dağılımı Z | { Q n + 1 , X } ve bu nedenle beklentiyi yeniden hesaplamak zorundasınız.QQZQQnQn+1Z|{Qn+1,X}

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.