Hamiltonian Monte Carlo vs. Sıralı Monte Carlo

Bu iki MCMC şemasının farklı uygulama alanlarının yanı sıra göreceli değerler ve dezavantajlar hakkında bir fikir edinmeye çalışıyorum.

Hangisini ne zaman ve neden kullanırsın?
Biri ne zaman başarısız olabilir, diğeri başarısız olabilir (örneğin, HMC nerede uygulanabilir, ancak SMC nerede değil)
Çok saf bir şekilde verilen bir yöntem, bir yönteme diğerine kıyasla fayda ölçüsü verebilir mi (yani biri genel olarak daha iyidir )?

Şu anda Betancourt'un HMC hakkındaki mükemmel makalesini okuyorum .

— Astrid
kaynak

SMC bir MCMC tekniği değildir, yani SMC kullanılırken yapılan hiçbir Markov zinciri yoktur.

— jaradniemi

Bazen smc içinde mcmc kullanırsınız. Ve bazen smc içinde smc kullanırsınız. Bunu yazarken, hmc ve smc kullanımını birleştiren hiçbir makalenin farkında değilim.

— Taylor

Ben kendim de SMC (aka, parçacık filtreleme) ve HMC arasındaki ilişkiyi daha iyi anlamak istiyorum. Soru için teşekkürler! İlk bakışta iki yaklaşımın bir tür erimesini

— David C. Norris

Hamiltonian Monte Carlo "tuhaf" şekillerle sürekli hedef dağılımları ile iyi bir performans sergiliyor. Hedef dağılımın eğimini kullandığı için temel olarak nereye gideceğini bilmek için hedef dağılımının farklılaştırılmasını gerektirir. En mükemmel örnek muz şeklindeki bir fonksiyondur.

İşte bir Banana fonksiyonunda standart bir Metropolis Hastings:% 66 kabul oranı ve çok düşük kapsam.

İşte HMC'de: İyi kapsama ile% 99 kabul.

SMC (Partikül Filtreleme'nin arkasındaki yöntem), hedef dağılım multimodal olduğunda, özellikle kütleli birkaç ayrı alan varsa, neredeyse rakipsizdir. Bir mod içinde bir Markov Zinciri sıkışmış yerine, paralel olarak çalışan birkaç Markov zinciriniz var. Bunu , genellikle artan keskinliği gösteren bir dağılım dizisini tahmin etmek için kullandığınızı unutmayın . Simüle edilmiş tavlama gibi bir şey kullanarak artan keskinliği elde edebilirsiniz (hedefe giderek artan bir artış katsayısı koyun). Veya tipik olarak, bir Bayesian bağlamında, dağılımların dizisi posteriorların dizisidir:

P (θ | y_{1}), P (θ | y_{1}, y_{2}), . . ., P (θ | y_{1}, y_{2}, . . ., y_{N-})

$P(\theta|y_1) \;,\; P(\theta|y_1,y_2)\;,\;... \;,\; P(\theta|y_1,y_2,...,y_N)$

Örneğin, bu dizi SMC için mükemmel bir hedeftir:

SMC'nin paralel doğası, özellikle dağınık / paralel hesaplamalar için uygun olmasını sağlar.

Özet:

HMC: Uzun tuhaf hedef için iyi. Sürekli olmayan işlevlerle çalışmaz.
SMC: Çok modlu ve sürekli olmayan durumlar için iyi. Daha yavaş birleşebilir veya yüksek boyutlu tuhaf şekiller için daha fazla hesaplama gücü kullanabilirsiniz.

Kaynak: Görüntülerin çoğu , 2 Yöntemi (Hamiltonian Sequential Monte Carlo) birleştiren bir makaleden geliyor . Bu kombinasyon, çok yüksek boyutlarda bile, fırlatabileceğimiz herhangi bir dağılımı simüle edebilir.

— RemiDav
kaynak

Güzel ve net; +1. Bunun neden daha fazla artığı olmadığına dair hiçbir fikrim yok!

— arboviral,

İşte ilgilenenler için kağıt: remidaviet.com/files/HSMC-paper.pdf

— stackoverflax