«variational-bayes» etiketlenmiş sorular

Değişken otomatik kodlayıcılar (VAE) için reparameterization trick nasıl çalışır? Temel matematiği basitleştirmeden sezgisel ve kolay bir açıklama var mı? Ve neden 'numaraya' ihtiyacımız var?

57 mathematical-statistics  autoencoders  variational-bayes  generative-models 

Ben, Metropolis Hastings vb Gibbs örneklemesi gibi MCMC çeşitli tatlar içeren VI ve MCMC hem genel fikir edinmek düşünüyorum Bu kağıt iki yöntemde harika serimlemesini sunuyor. Aşağıdaki sorularım var: Bayesian çıkarım yapmak istersem, neden diğerini seçeyim? Her yöntemin artıları ve eksileri nelerdir? Bunun oldukça geniş bir soru olduğunu anlıyorum, ancak …

36 machine-learning  bayesian  mcmc  variational-bayes  approximate-inference 

Bir yerde Değişken Bayes yönteminin EM algoritmasının bir genellemesi olduğunu okudum. Aslında, algoritmaların yinelemeli kısımları çok benzer. EM algoritmasının Variational Bayes'ın özel bir sürümü olup olmadığını test etmek için aşağıdakileri denedim: YYY veri, gizli değişkenlerin toplanması ve parametrelerdir. Varyasyonel . Nerede ler daha basit, uysal dağılımları vardır.Θ P ( X …

26 bayesian  expectation-maximization  variational-bayes 

Bir VAE'yi gördüğüm neredeyse tüm kod örneklerinde, kayıp işlevleri şu şekilde tanımlanır (bu tensorflow kodudur, ancak theano, torch vb. için de benzer şekilde gördüm. , sadece toplamların alındığı ekseni etkiler): # latent space loss. KL divergence between latent space distribution and unit gaussian, for each batch. # first half of …

26 machine-learning  deep-learning  tensorflow  autoencoders  variational-bayes 

Gereğince bu ve bu cevap, autoencoders boyut azaltılması için sinir ağları kullanan bir tekniktir görünmektedir. Ek olarak, değişken bir otomatik kodlayıcının ne olduğunu ("geleneksel" otomatik kodlayıcılara göre başlıca farklılıkları / faydaları) ve bu algoritmaların kullanıldığı ana öğrenme görevlerinin ne olduğunu bilmek isterim.

24 machine-learning  bayesian  deep-learning  autoencoders  variational-bayes 

Varyasyonel oto-kodlayıcının ve normal (deterministik) oto-kodlayıcının temel yapısını ve bunların arkasındaki matematiği anlıyorum, ama ne zaman ve neden bir tip otomatik kodlayıcıyı diğerine tercih ederim? Aklıma gelen tek şey, varyasyonel oto-kodlayıcının gizli değişkenlerinin önceki dağılımı, gizli değişkenleri örneklememize ve sonra yeni görüntüyü oluşturmamıza izin veriyor. Varyasyonel otoenkoderin stokastikliğinin deterministik otoenkodere …

20 deep-learning  autoencoders  variational-bayes 

Carl Doersch'in Variational Autoencoders üzerine olan bu eğitimini inceliyorum . İkinci sayfada şunları belirtir: Bu tür en popüler çerçevelerden biri, bu öğreticinin konusu olan Variational Autoencoder [1, 3]. Bu modelin varsayımları zayıftır ve backpropagation yoluyla eğitim hızlıdır. VAE'ler bir tahmin yapar, ancak yüksek kapasiteli modeller göz önüne alındığında bu yaklaşımın …

15 machine-learning  deep-learning  autoencoders  variational-bayes 

Bayesian çıkarımını okuyorum ve "marjinal olasılığın sayısal entegrasyonu çok pahalı" ifadesiyle karşılaştım Ben matematik bir arka plan yok ve ben tam ne yaptığını merak ediyorum pahalı burada ortalama? Sadece hesaplama gücü açısından mı yoksa daha fazlası var mı?

12 bayesian  numerical-integration  variational-bayes  approximate-inference 

Varyasyonel çıkarım (çok mütevazı) anlayışım için , aşağıdakileri optimize eden bir dağıtım bularak bilinmeyen bir dağıtım yaklaşmaya çalışır :pppqqq KL(p||q)=∑xp(x)logp(x)q(x)KL(p||q)=∑xp(x)logp(x)q(x)KL (p||q) = \sum\limits_{x} p(x)log \frac {p(x)}{q(x)} Ne zaman varyasyonsal çıkarımları anlamak için zaman harcadığım zaman bu formüle çarpmaya devam ediyorum ve yardım edemiyorum ama noktayı kaçırmış gibi hissediyorum. yı hesaplamak …

12 variational-bayes 

Derin Üreten Modeller için Otomatik Kodlama Varyasyonel Bayileri ve Stokastik Backpropagation arasındaki fark nedir ? Her iki yöntemdeki çıkarım aynı sonuçlara yol açar mı? Her iki yazar grubunun birbirini göstermesine rağmen, iki yöntem arasında açık bir karşılaştırma olduğunun farkında değilim.

10 deep-learning  inference  latent-variable  variational-bayes  sgd 

Bir VAE uyguluyorum ve basitleştirilmiş tek değişkenli gauss KL sapmasının çevrimiçi olarak iki farklı uygulamasını fark ettim. Uygun olarak, orijinal diverjans burada bir bir birim gaussian olduğunu varsayarsak, ve , bu İşte karışıklığım burada. Yukarıdaki uygulama ile birkaç belirsiz github depoları bulmuş olmama rağmen, daha yaygın olarak kullandığım şey:KLloss=log(σ2σ1)+σ21+(μ1−μ2)22σ22−12KLloss=log⁡(σ2σ1)+σ12+(μ1−μ2)22σ22−12 KL_{loss}=\log(\frac{\sigma_2}{\sigma_1})+\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{2\sigma^2_2}-\frac{1}{2} …

10 inference  kullback-leibler  autoencoders  variational-bayes 

Varyasyonel Bayes üzerinde okuyorum ve anladığım kadarıyla, (burada z , modelinizin gizli değişkenleri ve gözlemlenen veriler x ) bir işleve yaklaştığınız fikrine gelir. q (z) , q'nun q_i (z_i) olarak çarpanlara ayırdığı varsayılır; burada z_i , gizli değişkenlerin bir alt kümesidir. Daha sonra, optimal faktör q_i (z_i) şu şekilde gösterilebilir …

10 variational-bayes 

Gradyan tabanlı optimizasyon ve genetik algoritmanın bir kombinasyonunu kullanarak log-posterior'un küresel maksimumunu bularak MAP tahminini sağlam bir şekilde gerçekleştirebileceğimiz yüksek boyutlu bir çıkarım problemi (yaklaşık 2000 model parametreleri) üzerinde çalışıyorum. MAP tahminini bulmanın yanı sıra, model parametreleri üzerindeki belirsizlikleri biraz tahmin edebilmek istiyorum. Log-posteriorun gradyanını parametrelere göre etkili bir şekilde …

9 bayesian  uncertainty  high-dimensional  variational-bayes 

Bunu izleyen stokastik varyasyon çıkarsama ile Gauss Karışım modeli uygulamak çalışıyorum kağıt . Bu Gauss Karışımının pgm'si. Makaleye göre, stokastik varyasyon çıkarımının tam algoritması: Ve hala GMM'ye ölçeklendirme yönteminden çok kafam karıştı. İlk olarak, yerel varyasyon parametresinin sadece ve diğerlerinin de tüm global parametreler olduğunu düşündüm . Eğer yanılmışsam lütfen …

9 machine-learning  bayesian  clustering  gaussian-mixture  variational-bayes