Hamiltonian Monte Carlo

Birisi Hamiltonian Monte Carlo yöntemlerinin arkasındaki ana fikri açıklayabilir ve hangi durumlarda Markov Zinciri Monte Carlo yöntemlerinden daha iyi sonuçlar verecektir?

Hamiltonian Monte Carlo'nun en güncel kaynağının, pratik uygulamalarının ve diğer MCMC yöntemleriyle karşılaştırmasının Betancourt'un 2017 tarihli bu inceleme makalesi olduğuna inanıyorum :

Olasılıksal beklentileri tahmin etmede karşılaşılan en büyük zorluk, parametre uzayında karmaşık bir yüzeye yakın konsantre olan bir set olan tipik hedef dağılım kümesinin ölçülmesidir. Hamiltonian Monte Carlo, tipik setin geometrisinden yararlanarak düzgün hedef dağılımlarının tutarlı bir şekilde keşfedilmesini sağlar. Bu etkili keşif sadece diğer Markov zinciri Monte Carlo algoritmalarından daha iyi hesaplama verimliliği sağlamakla kalmaz, aynı zamanda elde edilen tahmincilerin geçerliliği konusunda daha güçlü garantiler verir. Dahası, bu geometrinin dikkatli analizi, yöntemin optimal uygulamalarını otomatik olarak oluşturmak için ilkeli stratejileri kolaylaştırır ve kullanıcıların uzmanlıklarını istatistiksel hesaplamanın hayal kırıklıklarıyla güreşmek yerine daha iyi modeller oluşturmaya odaklamalarını sağlar. Sonuç olarak,Stan (Stan Geliştirme Ekibi, 2017).

Aslen Hybrid Monte Carlo olarak adlandırılan Hamiltonian Monte Carlo ( HMC ), momentum terimi ve düzeltmeleri olan bir Markov Zinciri Monte Carlo formudur.

"Hamiltonyan" Hamilton mekaniğini ifade eder.

Kullanım durumu, olasılık alanı üzerinde sayısal entegrasyon için yüksek boyutları rasgele (rastgele) araştırıyor.

MCMC ile kontrast

Düz / vanilya Markov Zinciri Monte Carlo (MCMC) bir sonraki durumu belirlemek için sadece son durumu kullanır. Bu, daha önce keşfettiğiniz alana geri gittiğiniz kadar ileri gitme olasılığınız anlamına gelir.

MCMC'nin yüksek boyutlu uzaylarda da birincil ilgi alanının dışına kayması muhtemeldir.

Bu, MCMC'yi çok boyutlu bir olasılık alanı üzerinden sayısal entegrasyon amacıyla çok verimsiz hale getirir.

HMC bu sorunları nasıl ele alıyor?

Bir momentum terimi ekleyerek, HMC olasılık alanınızı keşfetmeyi daha verimli hale getirir, çünkü artık olasılık alanınızdaki her adımda ileri ilerleme kaydetme olasılığınız daha yüksektir.

HMC aynı zamanda Metropolis-Hastings düzeltmelerini kullanarak bölgede kalmasını ve daha büyük olasılıklı bölgeyi araştırmasını sağlar.

Bu cevabı yazarken HMC'deki bu sunumu oldukça aydınlatıcı buldum .