Beklenti maksimizasyonu algoritması neden kullanılıyor?

Çok az bildiğim kadarıyla EM algoritması, olasılığın parametrelerine göre kısmi türevleri sıfıra ayarlarken maksimum olasılığını bulmak için kullanılabilir, analitik olarak çözülemeyen bir denklem seti verir. Ancak, bahsi geçen denklem setinin kısıtlaması bakımından maksimum bir olasılık bulmaya çalışmak için bazı sayısal teknikler kullanmak yerine EM algoritması gerekli midir?

Soru meşru ve EM algoritmasını ilk öğrendiğimde aynı karışıklığı yaşadım.

Genel olarak, EM algoritması, modelin bazı değişkenlerinin "gizli" olduğu veya bilinmediği durumlarda bir parametrik modelin olabilirlik fonksiyonunu en üst düzeye çıkarmaya yarayan yinelemeli bir işlemi tanımlar.

Teoride, aynı amaç için, tüm parametreler için olabilirlik fonksiyonunun maksimum değerini sayısal olarak bulmak için bir minimizasyon algoritması kullanabilirsiniz. Ancak, gerçek durumda bu en aza indirme olacaktır:

1. çok daha hesaplamalı olarak yoğun
2. daha az sağlam

EM yönteminin çok yaygın bir uygulaması, bir karışım modelinin takılmasıdır. Bu durumda, her örneği “gizli” değişkenler olarak bileşenden birine atanan değişkeni göz önüne alarak problem büyük ölçüde basitleştirilmiştir.

Bir örneğe bakalım. Biz, N numunelerin sahip 2, normal dağılımların bir karışımından ekstre edilmiştir. EM olmadan parametreleri bulmak için en aza indirmeliyiz:$s = \{s_i\}$

$$-\log \mathcal{L}(x,\theta) = -\log\Big[ a_1 \exp\Big( \frac{(x-\mu_1)^2}{2\sigma_1^2}\Big) + a_2 \exp\Big(\frac{(x-\mu_2)^2}{2\sigma_2^2}\Big) \Big]$$

Aksine, EM algoritmasını kullanarak, önce her numuneyi bir bileşene " E " atarız ( E adımında ) ve sonra her bileşenin ayrı ayrı ( M adımında ) sığdırır (veya olasılığını maksimize eder ). Bu örnekte M adımı bulmak için ağırlıklı ortalama basitçe μ k ve σ k . Bu iki adımı yinelemek, en aza indirmenin daha basit ve daha sağlam bir yoludur - log L ( x , θ ) .$\mu_k$$\sigma_k$$-\log \mathcal{L}(x,\theta)$

Bazı sayısal teknikler kullanmak yerine EM'ye ihtiyaç duyulmaz, çünkü EM de sayısal bir yöntemdir. Bu yüzden Newton-Raphson'un yerine geçmiyor. EM, veri matrisinizde eksik değerler olduğunda özel durum içindir. Örnek düşünün koşullu bir yoğunluğa sahiptir f X | Θ ( x | θ ) . O zaman bunun log olasılığı: l ( θ ; X ) = l o g f X | $X = (X_{1},...,X_{n})$$f_{X|\Theta}(x|\theta)$ Artık tam bir veri yoksa varsayalım öyle ki set X gözlenen veri oluşur Y ve eksik (veya latent) değişkenler Z , öyle ki X = ( Y , Z ) . Daha sonra, gözlemlenen veriler için log olasılığı, l o b s ( θ , Y ) = l o g ∫ f X | Θ ( Y , z | θ ) ν z

$$l(\theta;X) = log f_{X|\Theta}(X|\theta)$$ $X$$Y$$Z$$X=(Y,Z)$ Genel olarak bu integrali doğrudan hesaplayamazsınız ve l o b s ( θ , Y ) için kapalı formlu bir çözüm alamazsınız. Bu amaçla EM yöntemini kullanırsınız. Ben kereyinelenen iki adım vardır. Bu ( i + 1 ) t h adımında, bunlar Q ( θ | θ ( i ) ) = E θ ( i ) [ l ( $$l_{obs}(\theta,Y)=log \int f_{X|\Theta}(Y,z|\theta)\nu_{z}(dz)$$ $l_{obs}(\theta,Y)$$i$$(i + 1)^{th}$ burada θ ( i ) bir tahmindir İçeride ISTV melerin RWMAIWi'nin içinde ı t h adımında. Ardından, Q ( θ | θ ( i ) ) ' yi θ vemaksimuma getirdiğiniz büyütme adımını hesaplayınve θ ( i + 1 ) = m a x Q ( θ | θ i $$Q(\theta|\theta^{(i)}) = E_{\theta^{(i)}}[l(\theta;X|Y]$$ $\theta^{(i)}$$\Theta$$i^{th}$$Q(\theta|\theta^{(i)})$$\theta$$\theta^{(i+1)} = max Q(\theta|\theta^{i})$. Daha sonra, yöntem sizin tahmininiz olacak bir değere yakınlaşana kadar bu adımları tekrarlayın.

Metot hakkında daha fazla bilgiye ihtiyacınız olursa, özellikleri, provaları veya uygulamaları sadece ilgili Wiki makalesine bakınız.

EM , söz konusu modelde verilen veri kümesinin olasılığını en üst düzeye çıkaran bir modelin parametrelerini doğrudan hesaplamak çoğu zaman olanaksız veya imkansız olduğundan kullanılır.