Posterior dağılımın izole edilmiş yerel maksimumu ile başa çıkabilen bir Monte Carlo / MCMC örnekleyicisi var mı?

Şu anda birkaç ODE oluşan bir model için parametreleri tahmin etmek için bayes bir yaklaşım kullanıyorum. Tahmin etmek için 15 parametrem olduğu için, örnekleme alanım 15 boyutlu ve posterior dağılım için araştırdığım, çok düşük olasılıklı büyük bölgeler tarafından çok izole edilmiş birçok yerel maksimuma sahip gibi görünüyor.

Monte Carlo zincirlerimin karıştırma sorunlarına yol açar, çünkü bir zincirin bir yerel maksimumdan "sıçraması" ve yanlışlıkla diğer maksimumlardan birine çarpması pek olası değildir.

Bu alanda çok sayıda araştırma var gibi görünüyor, çünkü bu sorunla ilgili makaleler bulmak kolay (aşağıya bakın), ancak gerçek bir uygulama bulmak zor. Sadece moleküler dinamiklerle ilgili paketler buldum, ama bayesci çıkarımda bulunmadım. Orada izole yerel maksimumlarla başa çıkabilen (MC) MC örnekleyicilerinin uygulamaları var mı?

Matlab ile çalışmaya zorlandım, çünkü ODE modelim yazıldığı gibi, Matlab ile ilgili teklifler en hoş geldiniz ;-). Ancak başka bir dilde bir "katil uygulaması" varsa, belki benim PI ;-) geçmek için ikna edebilirsiniz.

Şu anda Haario, Laine ve ark. Tarafından yazılan Gecikmeli Reddetme / Uyarlanabilir Monte Carlo örnekleyicisiyle çalışıyorum. ve bu da şimdiye kadar bulabildiğim tek örnekleyici, bu da standart Metropolis-Hastings algoritmasından daha sofistike

---

Dikkate değer yaklaşımlar şöyledir:

EDIT Bu arada öğrendiklerimle 2017-Mar-07'de güncellendi

Farklı başlangıç ​​noktalarına sahip çoklu benzer zincirler

Zincirlerarası uyum. Zincirin teklif dağılımlarının kovaryans matrislerini güncellemek için çoklu bağımsız zincirler tarafından oluşturulan havuzlanmış örneklerin ampirik kovaryans matrisini kullanın. (1)

Farklı tavlama özelliklerine sahip çoklu zincirler

$1/T$$T>1$$p(\theta\mid D)$$\theta$$D$ temperlenmiş posterior olasılık hesaplanır

$$p(\theta\mid D)^{1/T} \propto \left( p(D\mid\theta)\cdot p(\theta)\right)^{1/T}$$

$T$$T$$p(\theta\mid D)^{1/T}$$T\neq1$$p(\theta\mid D)$

Bu dağılımın temperlenmiş bir versiyonundan verilen orijinal, bozulmamış posterior dağılımdan örnekler birkaç yöntemle elde edilebilir:

• $T$$T=1$

• Küçük Dünya MCMC. Örnekleyici iki teklif arasında geçiş yapar. Çoğu zaman küçük varyanslı bir teklif dağılımı kullanılır, nadiren büyük varyanslı bir teklif kullanılır. Bu iki teklif arasındaki seçim stokastiktir. Büyük bir varyansa sahip teklifler, yalnızca çok büyük sıçramalar yapan, örnek alandan mümkün olduğunca çok örnek alarak başka bir zincirden de çizilebilir. (2,7)

Hamilton Monte Carlo (HMC)

Bu konuda çok şey bilmiyorum, ama JAGS'ın No-U-Turn örnekleyicisi (NUTS) bunu kullanıyor gibi görünüyor. Bakınız ref. (8). Alex Rogozhnikov konuyla ilgili görsel bir eğitim hazırladı.

---

Referanslar:

(1) Craiu ve diğerleri, 2009: Komşunuzdan Öğrenin: Paralel Zincir ve Bölgesel Uyarlamalı MCMC. J Am Stat Assoc 104: 488, sayfa 1454-1466. http://www.jstor.org/stable/40592353

(2) Guam ve diğerleri, 2012: Temperleme ile Küçük Dünya MCMC: Hata ve spektral boşluk. https://arxiv.org/abs/1211.4675 ( yalnızca arXiv'de )

(3): Brooks ve diğ. (2011). Markov Zinciri Monte Carlo El Kitabı. CRC tuşuna basın.

(4): Altekar ve diğ. (2004): Paralel Metropolis, Bayesci filogenetik çıkarım için Markov zinciri Monte Carlo'yu birleştirdi. Biyoinformatik 20 (3) 2004, s. 407–415, http://dx.doi.org/10.1093/bioinformatics/btg427

(5): Geyer CJ (1991) Markov zinciri Monte Carlo maksimum olasılığı. İçinde: Keramidas (ed.), Bilgisayar Bilimi ve İstatistik: 23. Arayüz Sempozyumu Bildirileri . Arayüz Vakfı, Fairfax İstasyonu, s. 156-163.

(6): Gilks ​​WR ve Roberts GO (1996). MCMC'yi geliştirme stratejileri. İçinde: Gilks ​​WR, Richardson S ve Spiegelhalter (eds) Markov zinciri Monte Carlo pratikte . Chapman ve Hall, s. 89-114.

(7): Guan Y ve diğ. Markov Zinciri küçük dünyalarda Monte Carlo. İstatistik ve Hesaplama (2006) 16 (2), s. 193-202. http://dx.doi.org/10.1007/s11222-006-6966-6

(8): Hoffmann M ve Gelman A (2014): U Dönüşü Olmayan Örnekleyici: Hamiltonian Monte Carlo'da Uyarlanabilir Yol Uzunluklarını Ayarlama. Makine Öğrenimi Araştırmaları Dergisi , 15, sayfa 1351-1381. https://arxiv.org/abs/1111.4246

Yukarıdaki stratejilerin hiçbiri özellikle çoklu optima için uygun değildir.

Daha iyi bir seçim, Diferansiyel Evrim MCMC ve DREAM gibi türetilmiş MCMC'lerdir. Bu algoritmalar, teklif oluşturmak için karıştırılan birkaç MCMC zinciri ile çalışır. Her optima'da en az bir zinciriniz varsa, optima arasında verimli bir şekilde atlayabilirler. R'deki bir uygulamaya buradan ulaşabilirsiniz https://cran.r-project.org/web/packages/BayesianTools/index.html