Monte Carlo ile birleştirilmiş Varyasyon Bayes

Varyasyonel Bayes üzerinde okuyorum ve anladığım kadarıyla, (burada , modelinizin gizli değişkenleri ve gözlemlenen veriler ) bir işleve yaklaştığınız fikrine gelir. , olarak çarpanlara varsayılır; burada , gizli değişkenlerin bir alt kümesidir. Daha sonra, optimal faktör şu şekilde gösterilebilir : $p(z\mid x)$ $z$ $x$ $q(z)$ $q$ $q_i(z_i)$ $z_i$ $q_i(z_i)$

q_{i}^{*} (z_{i}) = ⟨ \ln p (x, z) ⟩_{z / i} + const.

$q^*_i(z_i) = \langle \ln p(x, z)\rangle_{z/i} + \text{const.}$

Köşeli parantezler , dağılımına göre dışındaki tüm latent değişkenler üzerindeki beklentiyi gösterir . $z_i$ $q(z)$

Şimdi, bu ifade yaklaşık bir hedef değere kesin bir cevap vermek için genellikle analitik olarak değerlendirilir. Ancak, bu bir beklenti olduğu için, açık bir yaklaşımın bu beklentiyi örnekleyerek yaklaşıklaştırmak olduğu aklıma geldi. Bu, yaklaşık bir hedef fonksiyona yaklaşık bir cevap verecektir, ancak belki de analitik yaklaşımın mümkün olmadığı durumlarda çok basit bir algoritma sağlar.

Benim sorum şu, bu bilinen bir yaklaşım mı? Bir adı var mı? Bu kadar iyi çalışmamasının veya böyle basit bir algoritma vermemesinin nedenleri var mı?

variational-bayes

— Peter
kaynak

Bence en büyük sorun, VB yaklaşımlarının tipik olarak ürettiği belirsizliğin yetersizliği olacaktır.

— olasılık

İtiraf edeceğim, bu çok iyi bildiğim bir alan değil, bu yüzden bunu bir tane tuzla al.

Her şeyden önce, teklif ettiğiniz şeyin böyle basit bir algoritma sağlamadığını unutmayın: yeni hesaplamak için, beklenen tek bir değeri (ortalama veya varyans gibi) hesaplamamız gerekmiyor, ancak tüm fonksiyonun beklenen değeri. Bu hesapsal olarak zordur ve gerçek bazı ile yaklaşmanızı gerektirir (örneğin, bir histogram yaklaşıklığı bulabiliriz) $q^\star_i$ $q^\star$ $\tilde q$

Ancak, küçük bir parametrik aile ile kısıtlayacaksanız, en iyi parametre değerlerini bulmak için stokastik gradyan inişini kullanmak daha iyi bir fikir olabilir (bkz: Stokastik arama ile varyasyonel bayes çıkarımı, 2012, Paisley, Blei, Ürdün ). Hesapladıkları gradyan, yazdıklarınıza çok benzer: şu anda optimize etmedikleri tüm yaklaşımlardan örnek alıyorlar. $q_i$

Öyleyse önerdiğiniz o kadar basit değil, ancak son zamanlarda önerilen gerçek bir yönteme oldukça yakın

— Guillaume Dehaene
kaynak