Monte Carlo ile birleştirilmiş Varyasyon Bayes


10

Varyasyonel Bayes üzerinde okuyorum ve anladığım kadarıyla, (burada z , modelinizin gizli değişkenleri ve gözlemlenen veriler x ) bir işleve yaklaştığınız fikrine gelir. q (z) , q'nun q_i (z_i) olarak çarpanlara ayırdığı varsayılır; burada z_i , gizli değişkenlerin bir alt kümesidir. Daha sonra, optimal faktör q_i (z_i) şu şekilde gösterilebilir : q ^ * _ i (z_i) = \ langle \ ln p (x, z) \ rangle_ {z / i} + \ text {const.} p(zx)zxq(z)qqi(zi)ziqi(zi)

qi(zi)=lnp(x,z)z/i+const.

Köşeli parantezler , q (z) dağılımına göre z_i dışındaki tüm latent değişkenler üzerindeki beklentiyi gösterir .ziq(z)

Şimdi, bu ifade yaklaşık bir hedef değere kesin bir cevap vermek için genellikle analitik olarak değerlendirilir. Ancak, bu bir beklenti olduğu için, açık bir yaklaşımın bu beklentiyi örnekleyerek yaklaşıklaştırmak olduğu aklıma geldi. Bu, yaklaşık bir hedef fonksiyona yaklaşık bir cevap verecektir, ancak belki de analitik yaklaşımın mümkün olmadığı durumlarda çok basit bir algoritma sağlar.

Benim sorum şu, bu bilinen bir yaklaşım mı? Bir adı var mı? Bu kadar iyi çalışmamasının veya böyle basit bir algoritma vermemesinin nedenleri var mı?


Bence en büyük sorun, VB yaklaşımlarının tipik olarak ürettiği belirsizliğin yetersizliği olacaktır.
olasılık

Yanıtlar:


4

İtiraf edeceğim, bu çok iyi bildiğim bir alan değil, bu yüzden bunu bir tane tuzla al.

Her şeyden önce, teklif ettiğiniz şeyin böyle basit bir algoritma sağlamadığını unutmayın: yeni hesaplamak için, beklenen tek bir değeri (ortalama veya varyans gibi) hesaplamamız gerekmiyor, ancak tüm fonksiyonun beklenen değeri. Bu hesapsal olarak zordur ve gerçek bazı ile yaklaşmanızı gerektirir (örneğin, bir histogram yaklaşıklığı bulabiliriz)qiqq~

Ancak, küçük bir parametrik aile ile kısıtlayacaksanız, en iyi parametre değerlerini bulmak için stokastik gradyan inişini kullanmak daha iyi bir fikir olabilir (bkz: Stokastik arama ile varyasyonel bayes çıkarımı, 2012, Paisley, Blei, Ürdün ). Hesapladıkları gradyan, yazdıklarınıza çok benzer: şu anda optimize etmedikleri tüm yaklaşımlardan örnek alıyorlar.qi

Öyleyse önerdiğiniz o kadar basit değil, ancak son zamanlarda önerilen gerçek bir yönteme oldukça yakın

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.