Beklenti Yardımı Kağıttan en üst düzeye çıkarma: önceden dağıtım nasıl dahil edilir?

9

Soru şu başlıklı makaleye dayanmaktadır: Çift yönlü ışınım iletimi-difüzyon modeli kullanılarak dağınık optik tomografide görüntü rekonstrüksiyonu

İndirme: {link

Yazarlar EM ile Algoritma uygulamak bilinmeyen bir vektör kıtlık regularization bir resmin pikselleri tahmin etmek. Model tarafından verilir $l_1$ $\mu$

\begin{matrix} (1) & y = A μ + e \end{matrix}

$y=A\mu + e \tag{1}$ Tahmin Denk. (8) 'de

\begin{matrix} (2) & \hat{μ} = \arg m a x \ln p (y | μ) + γ \ln p (μ) \end{matrix}

$\hat{\mu} = \arg max {\ln p(y|\mu) + \gamma \ln p(\mu)} \tag{2}$

Benim durumda, kabul var uzunlukta bir filtre olarak ve olan filtre temsil vektörleri. Yani, $\mu$ $L$ $\mathbf{\mu}$ $L \times 1$

Model olarak yeniden yazılabilir

\begin{matrix} (3) & y (n) = μ^{T} a (n) + v (n) \end{matrix}

$y(n) = \mathbf{\mu^T}a(n) + v(n) \tag{3}$

Soru: Sorun formülasyonu: (n'ye 1), gözlemlenmemiş girdi ve , varyans bilinmeyen ek gürültü ile sıfır ortalama . MLE çözümü Beklenti Maksimizasyonu (EM) temel alacaktır. ${\mu(n)}$ $\{e(n)\}$ $\sigma^2_e$

Makalede Eq (19), fonksiyonudur - tam log olabilirliği ancak benim durumum için dağılımını tam log-olasılık olasılığına nasıl dahil edebileceğimi anlamıyorum . $A$ $A, \mu$

Ne bir EM kullanımı tam log-olasılığını olacak öncesinde dağıtım gibi? $y$

— SKM
kaynak

Gerçekten günlük olasılığını mı istiyorsunuz yoksa bunun yerine günlük posteriorunu mu istiyorsunuz? Sadece ikincisi daha önce Laplacian'ı içerecektir. Birincisi, daha önce yazmış gibi

Gizli değişken içeren veri kümesini pdf olacak diğer Fisher Bilgi Matrix bulmak için kullanılacaktır (1) Bir ve (2) - İki istediğim her ifadeler vardır ve Yıldönümleri ortak olan parametresinin bir fonksiyonu olarak gözlenen verilerin olasılık yoğunluğu . Yazdığım pdf kör tahmini için MA modeline uygulanabilir . Ancak, lokalite kısıtlaması = Laplacian için nasıl farklı olacak, böylece log-olasılığının kısmi türevlerinden Fisher Information Matrix bulunabilsin.

Z

$Z$

θ

$\theta$

θ

$\theta$

— SKM

@ Xi'an: Mantık olasılığının formülasyonunda öncekini içeren 3 pdf'nin nasıl ekleneceğini anlamıyorum. Kısmi türevi almak ve sıfıra eşitlemek olan maksimizasyonu çalıştırabilirim. Lütfen açıkça yazılmış olabilirlik ifadesiyle bir cevap verebilir misiniz? Bu gerçekten yardımcı olacak

— SKM

3

Hedefi EM'nin temsili keyfi bir , ayrışma nedeniyle veya , rastgele bir değeri için çalışır (çünkü lhs'de hiçbiri yoktur ) ve dolayısıyla :

\arg max_{θ} L (θ | x) π (θ) = \arg max_{θ} \log L (θ | x) + \log π (θ)

$\arg\max_\theta L(\theta|x)\pi(\theta) = \arg\max_\theta \log L(\theta|x) + \log \pi(\theta)$

\log L (θ | x) = E [\log L (θ | x, Z) | x, θ ⁰] - E [\log q (Z | x, θ) | x, θ ⁰]

$\log L(\theta|x) = \mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]-\mathbb{E}[\log q(Z|x,\theta)|x,\theta⁰]$

θ ⁰

$\theta⁰$

q (z | x, θ) = f (x, z | θ) / g (x | θ)

$q(z|x,\theta)=f(x,z|\theta) \big/ g(x|\theta)$

g (x | θ) = f (x, z | θ) / q (z | x, θ)

$g(x|\theta) = f(x,z|\theta) \big/ q(z|x,\theta)$

z

$z$

Z

$Z$

\log g (x | θ) = \log f (x, z | θ) - \log q (z | x, θ) = E [\log f (x, Z | θ) - \log q (Z | x, θ) | x]

$\log g(x|\theta) = \log f(x,z|\theta) - \log q(z|x,\theta) = \mathbb{E}[\log f(x,Z|\theta) - \log q(Z|x,\theta)|x]$ verilen herhangi bir koşullu dağılımı için , örneğin . Bu nedenle, eğer en üst düzeye çıkarma bölgesindeki çözeltisi ile elimizdeki ise EM standart argümanlarına göre . Bu nedenle,

Z

$Z$

X = x

$X=x$

q (z | x, θ ⁰)

$q(z|x,\theta⁰)$

θ

$\theta$

E [\log L (θ | x, Z) | x, θ ⁰] + \log π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$

θ^{1}

$\theta^1$

E [\log L (θ^{1} | x, Z) | x, θ ⁰] + \log π (θ^{1}) \geq E [\log L (θ ⁰ | x, Z) | x, θ ⁰] + \log π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$

E [\log q (Z | x, θ ⁰) | x, θ ⁰] \geq E [\log q (Z | x, θ^{1}) | x, θ ⁰]

$\mathbb{E}[\log q(Z|x,\theta⁰)|x,\theta⁰]\ge\mathbb{E}[\log q(Z|x,\theta^1)|x,\theta⁰]$

E [\log L (θ^{1} | x, Z) | x, θ ⁰] + \log π (θ^{1}) \geq E [\log L (θ ⁰ | x, Z) | x, θ ⁰] + \log π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$ ve E adımı olarak hedef her M'de posteriorda bir artışa yol açar adım, yani değiştirilmiş EM algoritmasının yerel bir MAP'ye yakınsadığı anlamına gelir.

E [\log L (θ | x, Z) | x, θ ⁰] + \log π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$

— Xi'an
kaynak

Cevabın için teşekkürler. Does pdf temsil ? İkinci satırda belirtilen Denklemde İle çıkmanın neden 2 beklentisi olduğunu söyler misiniz ?

q ()

$q()$

Z

$Z$

E [l o g q (.)]

$E[log q(.)]$

— SKM

Bazı açıklamalar ekledim, ancak bir ders kitabında EM algoritmasının türetilmesini kontrol etmelisiniz, çünkü bu standart bir malzeme.

— Xi'an

1

Ben monotonik artan log-posterior (veya MLE için log olasılığı) MAP tahmin (veya MLE) durağan noktasına yakınsama göstermek için yeterli olduğunu düşünmüyorum. Örneğin, artışlar keyfi olarak küçük olabilir. Wu 1983'ün ünlü makalesinde , sabit EM noktasına yakınsama için yeterli bir koşul, alt sınır fonksiyonunun her iki argümanında da farklılaşabilirliktir.

— Jim.Z
kaynak