Ben, Metropolis Hastings vb Gibbs örneklemesi gibi MCMC çeşitli tatlar içeren VI ve MCMC hem genel fikir edinmek düşünüyorum Bu kağıt iki yöntemde harika serimlemesini sunuyor.
Aşağıdaki sorularım var:
Bunun oldukça geniş bir soru olduğunu anlıyorum, ancak herhangi bir görüş çok takdir edilecektir.
Yanıtlar:
Uzun bir cevap için, Blei, Kucukelbir ve McAuliffe bkz burada . Bu kısa cevap, ağır bir şekilde ondan çekiyor.
Yani, tahminlerimizin kesinliğini öldürmek ve değer vermek için hesaplanmış zamanımız olduğunda, MCMC kazanır. Uygunluk için - ya da o kadar büyük verilerle çalışıyoruz: fedakarlığı yapmak zorunda kalmayacağımızı - feda etmeye tahammül edersek , VI doğal bir seçimdir.
Veya, yukarıda bahsedilen yazarlar tarafından daha kesin ve ayrıntılı bir şekilde tarif edildiği gibi:
Dolayısıyla, değişken çıkarım birçok modeli hızla keşfetmek istediğimiz büyük veri kümeleri ve senaryoları için uygundur; MCMC, daha kesin örnekler için daha yüksek bir hesaplama maliyeti ödeyeceğimiz daha küçük veri setleri ve senaryoları için uygundur. Örneğin, MCMC'yi 20 yıl boyunca küçük ama pahalı bir veri seti toplamak için harcadığımız, modelimizin uygun olduğundan emin olduğumuz ve kesin çıkarımlar gerektiren bir ortamda kullanabiliriz. Muhtemel bir metin modelini bir milyar metin belgesine sığdırırken ve çıkarımların büyük bir kullanıcı kitlesine arama sonuçlarını sunmak için kullanıldığı durumlarda, değişken çıkarımlar kullanabiliriz. Bu senaryoda, çıkarımı ölçeklendirmek ve hızlandırmak için dağıtık hesaplama ve stokastik optimizasyon kullanabiliriz ve verilerin birçok farklı modelini kolayca keşfedebiliriz.