Markov zincir tabanlı örnekleme Monte Carlo örneklemesi için “en iyi” midir? Mevcut alternatif şemalar var mı?

Markov Zinciri Monte Carlo, numuneleri doğrudan çizemediğimiz standart olmayan dağıtımlardan (Monte Carlo ortamında) numune almamıza izin veren Markov zincirlerine dayanan bir yöntemdir.

Benim sorum Markov zincirinin Monte Carlo örneklemesi için neden "son teknoloji" olduğudur. Alternatif bir soru, Monte Carlo örneklemesi için kullanılabilecek Markov zincirleri gibi başka yollar var mı? MCMC'nin (a) periyodiklik, homojenlik ve ayrıntılı denge gibi koşullar açısından derin teorik köklere sahip olduğunu (ancak literatüre bakmadan) biliyorum, ancak Monte için "karşılaştırılabilir" olasılık modelleri / yöntemleri olup olmadığını merak ediyorum Markov zincirlerine benzeyen Carlo örneklemesi.

Sorunun bir kısmını karıştırırsam (veya tamamen kafa karıştırıcı görünüyorsa) lütfen bana rehberlik edin.

MCMC örneklemesinin "en iyi" Monte Carlo yöntemi olduğunu belirtmek için hiçbir neden yoktur! Genellikle, en azından sonuçta ortaya çıkan Monte Carlo tahmincilerinin varyansı açısından, iid örneklemeden daha kötüdür.

$$\frac{1}{T}\sum_{t=1}^T h(X_t)$$ Gerçekten de, bu ortalama beklentiye yaklaşırken $\mathbb{E}_{\pi}[h(X)]$ ne zaman $\pi$ Markov zincirinin durağan ve sınırlayıcı dağılımıdır $(X_t)_t$, MCMC yöntemlerini kullanmanın en az iki dezavantajı vardır:

1. Zincirin "durağanlığa ulaşması" gerekir, yani başlangıç ​​değerini unutması gerekir $X_0$. Başka bir deyişle,$t$ için "yeterince büyük" olmalı $X_t$ dağıtılacak $\pi$. Bazen "yeterince büyük", deney için hesaplama bütçesinin birkaç büyüklüğünü aşabilir.
2. Değerler $X_t$ ilişkilidir ve aşağıdakileri içeren asimptotik bir varyansa yol açar $$\text{var}_\pi(X)+2\sum_{t=1}^\infty\text{cov}_\pi(X_0,X_t)$$ genellikle aşan $\text{var}_\pi(X)$ ve dolayısıyla bir iid örneğinden daha uzun simülasyonlar gerektirir.

Bununla birlikte, MCMC, düzenli iid örneklemesinin imkansız veya çok maliyetli olduğu ve özellikle örneklenecek rastgele değişkenin boyutu nedeniyle önem örneklemesinin kalibre edilmesinin oldukça zor olduğu ayarların işlenmesi için çok yararlıdır.

Bununla birlikte, parçacık filtreleri gibi sıralı Monte Carlo yöntemleri, verilerin derhal ilgilenilmesi gereken ve kısa bir süre sonra kaybolan (hatta depolanamayan) patlamalarla geldiği dinamik modellerde daha uygun olabilir.

Sonuç olarak, MCMC, düzenli Monte Carlo çözümlerinin başarısız olduğu karmaşık ayarları ele almak için çok kullanışlı (ve çok kullanılan) bir araçtır.

Bir dağılımdan rastgele değerler üretmenin birkaç yolu vardır, McMC bunlardan biridir, ancak diğerleri de Monte Carlo yöntemleri olarak kabul edilir (Markov zincir kısmı olmadan).

Tek değişkenli örnekleme için en doğrudan, tekdüze rastgele bir değişken oluşturmak ve daha sonra bunu ters CDF fonksiyonuna takmaktır. Bu, ters CDF'niz varsa harika çalışır, ancak CDF ve / veya tersinin doğrudan hesaplanması zor olduğunda zahmetlidir.

Çok değişkenli problemler için bir kopuladan veri oluşturabilir, daha sonra değişkenler arasında bir miktar korelasyona sahip olmak için üretilen değerlerde ters CDF yöntemini kullanabilirsiniz (ancak istenen korelasyon seviyesini elde etmek için kopula doğru parametreleri belirtmek genellikle biraz gerektirir Deneme ve hata).

Reddetme örneklemesi, CDF'yi veya tersini bilmeniz gerekmediği (ve yoğunluk işlevi için normalleştirme sabitine bile ihtiyaç duymadığınız) bir dağıtımdan (tek değişkenli veya çok değişkenli) veri oluşturmak için kullanılabilecek başka bir yaklaşımdır, ancak bu, bazı durumlarda çok zaman alan oldukça verimsiz olabilir.

Rastgele noktalar yerine üretilen verilerin özetleriyle ilgileniyorsanız, önem örneklemesi başka bir seçenektir.

McMC örneklemesinin bir biçimi olan Gibbs örneklemesi, diğerlerine verilen her değişken için koşullu dağılımı bildiğiniz sürece çok değişkenli dağılımın kesin biçimini bilmediğiniz yerleri örneklemenizi sağlar.

Başkaları da var, hangisi en iyi bildiğiniz ve bilmediğinize ve belirli sorunun diğer ayrıntılarına bağlıdır. McMC popülerdir çünkü birçok durum için iyi çalışır ve birçok farklı duruma genelleme yapar.