(etkileşim) Multimodal posterior için MCMC

Ben MCMC kullanarak birbirlerinden özellikle uzak birçok modu olan bir posterior örneklemeye çalışıyorum. Çoğu durumda, bu modlardan sadece birinin aradığım% 95 hpd'yi içerdiği anlaşılıyor. Temperli simulasyona dayalı çözümler uygulamaya çalıştım, ancak uygulamada bir "yakalama menzilinden" diğerine geçmek maliyetli olduğu için tatmin edici sonuçlar vermiyor.

Sonuç olarak, farklı başlangıç ​​noktalarından çok sayıda basit MCMC çalıştırmak ve MCMC'lerin birbirleriyle etkileşime girerek baskın çözüme dalmak için daha verimli bir çözüm olacağı anlaşılıyor. Böyle bir fikri uygulamanın uygun bir yolu olup olmadığını biliyor musunuz?

Not: http://lccc.eecs.berkeley.edu/Papers/dmcmc_short.pdf (Dağıtılmış Markov zinciri Monte Carlo, Lawrence Murray) 'nin aradığım şeye yakın göründüğünü gördüm, ancak tasarımı gerçekten anlamıyorum fonksiyonunun .$R_i$

[DÜZENLEME]: cevapların eksikliği ilk sorunum için açık bir çözüm olmadığını gösteriyor (farklı başlangıç ​​noktasından aynı hedef dağılımından örnekleme yapan birkaç MCMC'nin birbiriyle etkileşime girmesi). Bu doğru mu ? neden bu kadar karmaşık? Teşekkürler

Hepsinden önemlisi, daha iyi bir yöntem ya da en azından daha derinlemesine bir açıklama ile bir yöntem aramanızı tavsiye ederim, çünkü bahsettiğiniz kağıttan "Dağıtılmış Markov zinciri Monte Carlo" açıkça belirtilmemiş gibi görünüyor. Avantajları ve dezavantajları iyi araştırılmamıştır. Oldukça yakın zamanda " Solucan deliği Hamiltonian Monte Carlo " olarak adlandırılan arxiv ortaya çıktı bir yöntem var , ben kontrol etmenizi tavsiye ederim.

Referans verdiğiniz makaleye geri dönersek, uzak teklif $R_{i}(\theta_{i})$çok belirsiz bir şekilde tanımlanmıştır. Uygulama kısmında, "önceki t / 2 numuneleri üzerinden maksimum Gauss olasılığı" olarak tanımlanmaktadır. Belki de bu, son t / 2 değerlerinin ortalamasını$i^{th}$Zincir? Referansta verilen kötü açıklama ile tahmin etmek biraz zor.

[GÜNCELLEME:] Birkaç zincir arasındaki etkileşim ve bu fikrin posterior dağılımdan numuneye uygulanması, örneğin burada , paralel MCMC yöntemlerinde bulunabilir . Bununla birlikte, birkaç zincir çalıştırmak ve onları etkileşime zorlamak, multimodal posterior için uygun olmayabilir: örneğin, posterior dağılımın çoğunun yoğunlaştığı çok belirgin bir bölge varsa, zincirlerin etkileşimi, bu spesifikliğe sadık kalarak şeyleri daha da kötüleştirebilir ve daha az belirgin olan bölgeleri / modları keşfetmeme. Bu nedenle, özellikle multimodal problemler için tasarlanmış MCMC'yi aramanızı şiddetle tavsiye ederim. Ve başka / yeni bir yöntem oluşturmak istiyorsanız, "pazar" da neyin mevcut olduğunu öğrendikten sonra, daha verimli bir yöntem oluşturabilirsiniz.

Multinest'i denemelisiniz: https://arxiv.org/pdf/0809.3437.pdf https://github.com/JohannesBuchner/MultiNest Çok modlu bir dağıtım için parametre örnekleri verecek olan bir bayes çıkarsama motorudur.

Github bağlantısı, talimatlara göre derlediğiniz ve yüklediğiniz en çoklu kaynak kodunu içerir. ayrıca kullanımı daha kolay bir python sarıcıya sahiptir. Örnek kodlar, parametrelerinizi kısıtlamaya yarayan önceki bir bölüme ve olasılığınızı içeren bir olasılık bölümüne sahiptir. ayarlar dosyası tüm ayarlarınızı içerir ve takıldıktan sonra zincir klasörü en çok çıkış. size parametreleri örnekleri verecektir

Bu, hesaplama istatistiklerinde zor ve devam eden bir sorun gibi görünmektedir. Ancak, iyi çalışması gereken birkaç daha az modern yöntem vardır.

Diyelim ki posteriorun birkaç farklı modunu buldunuz ve bunların en önemli modlar olduğundan ve bu modların etrafındaki posteriorun normal olması durumunda mutlu olduğunuzdan emin olun. Daha sonra bu modlarda kendir hesaplayabilirsiniz (örneğin, R 'de kendir = T ile optim kullanarak) ve posterioru normallerin bir karışımı (veya t dağılımları) olarak yaklaşık olarak tahmin edebilirsiniz. Bkz. Gelman ve diğ., P318-319. (2003) Ayrıntılar için "Bayesian Veri Analizi". Daha sonra, tam posteriordan numune almak için bağımsızlık örnekleyicisindeki teklif dağılımı olarak normal / t-karışım yaklaşımını kullanabilirsiniz.

Başka bir fikir, ben denemedim ki Tavlı Önemi Örnekleme olan (Radford Neal, 1998, bağlantı burada ).

Püsküren ve çekici bir Metropolis algoritması olan multimodalite için yeni bir MCMC yöntemi denemeye ne dersiniz ( http://arxiv.org/abs/1601.05633 )? Bu çok modlu örnekleyici, bir Metropolis algoritması gibi tek bir ayar parametresiyle çalışır ve uygulanması kolaydır.