Marjinal olasılık için sağlam MCMC tahmincisi?

9

Monte Carlo yöntemleriyle istatistiksel bir modelin marjinal olasılığını hesaplamaya çalışıyorum:

f (x) = \int f (x | θ) π (θ) d θ

$f(x) = \int f(x\mid\theta) \pi(\theta)\, d\theta$

Olasılık iyi davranır - pürüzsüz, kütük içbükey - ancak yüksek boyutlu. Önemli örneklemeyi denedim, ancak sonuçlar sakat ve büyük oranda kullandığım teklife bağlı. Hamilton Monte Carlo yaptığını kabul kısaca öncesinde üniforma varsayarak üzerinde arka örnekleri hesaplamak için ve ben görene kadar, harmonik ortalamasını alarak bu . Öğrenilen ders, harmonik ortalama sonsuz varyansa sahip olabilir. Neredeyse basit ama iyi davranış gösteren bir varyansı olan alternatif bir MCMC tahmincisi var mı? $\theta$

monte-carlo likelihood marginal

— David Pfau
kaynak

Öncekinden temel monte carlo örneklemesini de düşünebilirsiniz.

f (x) = E_{π (θ)} (f (x | θ))

$f(x)=E_{\pi(\theta)}(f(x|\theta))$

— olasılık

1

Bu olası bir çözüm. Bu durumda, yanlış önceliğe artık izin verilmediğini ve çok yaygın desteğe sahip olan öncülerin muhtemelen Monte Carlo yaklaşımını zorlaştıracağını unutmayın.

— Zen

1

Konuyla ilgili tam bir kitap Chen, Shao ve Ibrahim'dir (2001) . Ayrıca, iç içe örnekleme, köprü örnekleme, defansif örnekleme, parçacık filtreleri, Savage-Dickey gibi anahtar kelimeleri de arayabilirsiniz.

— Xi'an

8

Tavlanmış önem örneklemesine ne dersiniz ? It has çok düzenli önem örneklemesi daha düşük varyans. Bunun "altın standart" olarak adlandırıldığını gördüm ve uygulanması "normal" önemdeki örneklemeden daha zor değil. Her örnek için bir grup MCMC hareketi yapmanız gerektiği için daha yavaştır, ancak her örnek çok yüksek kalitede olma eğilimindedir, bu nedenle tahminleriniz yerine getirilmeden önce çoğuna ihtiyacınız yoktur.

Diğer önemli alternatif sıralı öneme sahip örneklemedir. Benim düşüncem, uygulamanın da oldukça basit olması, ancak eksik olan sıralı Monte Carlo'ya (AKA parçacık filtreleme) aşina olmayı gerektiriyor.

İyi şanslar!

Eklemek için düzenlendi : Görünüşe göre bağlandığınız Radford Neal blog yazısı da Tavlanmış Önem Örneklemesi'ni öneriyor. Sizin için iyi çalışıp çalışmadığını bize bildirin.

— David J. Harris
kaynak

2

Bu marjinal dağılım hesaplamasına biraz ışık tutmaya yardımcı olabilir. Ayrıca, Friel ve Pettitt'in getirdiği güç posteriorlarından bir yöntem kullanmanızı tavsiye ederim . Bazı sınırlamaları olmasına rağmen bu yaklaşım oldukça umut vericidir. Ya da Laplace posterior dağılımın normal dağılıma göre yakınlaştırılmasını sağlayabilirsiniz: MCMC'den histogram simetrik ve normal gibi görünüyorsa, bu oldukça iyi bir yaklaşım olabilir.

— Tomas
kaynak