MCMC ne zaman yararlıdır?

MCMC yaklaşımının hangi durumda gerçekten yararlı olduğunu anlama konusunda sorun yaşıyorum. "Bayesian Veri Analizi Yapmak: R ve BUGS ile Öğretici" adlı Kruschke kitabından bir oyuncak örneği alıyorum.

Şimdiye kadar anladığım şey , örneğine sahip olmak için ile orantılı bir hedef dağılımına ihtiyacımız var . Bununla birlikte, bana öyle geliyor ki kere sahip olduğumuzda, sadece posterior elde etmek için dağılımı normalleştirmemiz gerekir ve normalleştirme faktörü sayısal olarak kolayca bulunabilir. Peki bunun mümkün olmadığı durumlar nelerdir? $p(D|\theta)p(\theta)$ $P(\theta|D)$ $p(D|\theta)p(\theta)$

mcmc

— Vaaal
kaynak

bir skaler olmadığını, bunun yerine 10000 boyutuna sahip bir vektör

olduğunu varsayalım .

θ

$\theta$

θ

$\boldsymbol\theta$

— Jan Galkowski

Cevabım biraz gergindi. Sabiti elde etmek için

değerini hesaplamanız gerekir

\int_{- \infty}^{\infty} p (D | θ) p (θ)

$\int_{-\infty}^{\infty} p(D|\theta)p(\theta)$ . Skaler durumda bile,

p (D | θ)

$p(D|\theta)$ gerçekten sakattır, bu nedenle entegrasyonun sayısal olarak bile yapılması zordur. O zaman MCMC'yi kullanmak isteyebilirsiniz.

— Jan Galkowski

Alan Sokal'dan bir uyarı: "Monte Carlo son derece kötü bir yöntem; sadece tüm alternatif yöntemler en kötü olduğunda kullanılmalıdır". Daha sonra MC yöntemlerinin uzun bir tartışmasına başlar. stat.unc.edu/faculty/cji/Sokal.pdf

— Yair Daon

@Yair: Bana öyle geliyor ki Sokal Churchill'i kanalize ediyor.

— kardinal

Başka hiçbir şey işe yaramayacaksa ...

— kjetil b halvorsen

Yanıtlar:

Monte Carlo entegrasyonu , örneğin integrali polinomlarla yaklaştırarak sayısal entegrasyondan çok daha verimli olabilen bir sayısal entegrasyon biçimidir . Bu özellikle basit sayısal entegrasyon tekniklerinin çok sayıda fonksiyon değerlendirmesi gerektirdiği yüksek boyutlar için geçerlidir. Normalizasyon sabiti hesaplamak için önem örneklemesini kullanabiliriz , $p(D)$

p (D) = \int \frac{q (θ)}{q (θ)} p (θ) p (D ∣ θ) d θ \approx \frac{1}{N} \sum_{n} w_{n} p (θ_{n}) p (D ∣ θ_{n}),

$p(D) = \int \frac{q(\theta)}{q(\theta)} p(\theta)p(D \mid \theta) \, d\theta \approx \frac{1}{N} \sum_n w_n p(\theta_n)p(D \mid \theta_n),$

burada ve örneklenir . Sadece örneklenen noktalardaki ortak dağılımı değerlendirmemiz gerektiğini unutmayın. Doğru , bu tahminci çok az numune gerektirmesi açısından çok verimli olabilir. Pratikte, uygun bir seçmek zor olabilir, ancak MCMC bu noktada yardımcı olabilir! Tavlanmış önem örneklemesi (Neal, 1998) MCMC'yi önem örneklemesiyle birleştirir. $w_n = 1/q(\theta_n)$ $\theta_n$ $q$ $q$ $q$

MCMC'nin yararlı olmasının bir başka nedeni şudur: Genellikle arka yoğunluğu ile ilgilenmiyoruz , daha ziyade özet istatistikler ve beklentilerle ilgileniyoruz , örneğin $\theta$

\int p (θ ∣ D) f (θ) d θ .

$\int p(\theta \mid D) f(\theta) \, d\theta.$

bilmek genellikle bu integrali çözebileceğimiz anlamına gelmez, ancak numuneler bunu tahmin etmenin çok uygun bir yoludur. $p(D)$

Son olarak, yı değerlendirmek , bazı MCMC yöntemleri için bir gerekliliktir, ancak hepsi için bir gereklilik değildir (örneğin, Murray ve ark., 2006 ). $p(D \mid \theta)p(\theta)$

— Lucas
kaynak

Üzgünüm, ama bu hala benim için net değil. Sorum şu: çarpılırsak , normalleştirilmemiş bir pdf elde ederiz. MCMC'yi çalıştırarak normalleştirilmemiş pdf'yi tahmin edebileceğimiz bir örnek elde ederiz. İstersek, ikisini de normalleştirebiliriz. Öyleyse, herhangi bir özet istatistikle ilgilenmiyorum, ancak sadece posterlerle ilgileniyorum, neden ilk etapta MCMC kullanıyoruz? Dediğiniz gibi, bazı MCMC yöntemleri hesaplamasını gerektirmez, bu yüzden bunlardan bahsetmiyorum. Bildiğim kadarıyla, çoğu bunun hesaplanmasını gerektirir. Bu yöntemlerin faydası nedir?

p (D | θ) p (θ)

$p(D|\theta)p(\theta)$

p (D | θ) p (θ)

$p(D|\theta)p(\theta)$

— Vaaal

MCMC'yi çalıştırırken normalleştirilmiş pdf'den bir örnek alırsınız, bu nedenle normalleştirme sabitini hesaplamaktan kaçının. Ve bu ücretsiz.

— Xi'an

@Vaaal: "Normalleştirme faktörünün sayısal olarak kolayca bulunabileceği" varsayımı yalnızca basit tek değişkenli dağıtımlar için geçerlidir. Yüksek boyutlu nın normalleştirilmesi genel olarak son derece zordur. Bu durumda, MCMC hala normalleşme sabitini tahmin etmek için kullanılabilir (örneğin tavlanmış önem örneklemesi yoluyla).

θ

$\theta$

p (D ∣ θ) p (θ)

$p(D \mid \theta) p(\theta)$

— Lucas

Önceden ve kapalı formda hesaplanamayan veya arka dağılım olasılığı standart tipte değildir, bu hedeften doğrudan posterior dağılımın Monte Carlo yaklaşımına benzetilmesi mümkün değildir. Tipik bir örnek, HATA kitapta bulunanlar gibi eşlenik olmayan önceliklere sahip hiyerarşik modellerden yapılır . $p(\theta)$ $f(x|\theta)$

p (θ | x) \propto p (θ) f (x | θ)

$p(\theta|x)\propto p(\theta)f(x|\theta)$

Kabul et-reddet, üniform oran veya önem-örnekleme teknikleri gibi dolaylı simülasyon yöntemleri, parametresinin boyutu birkaç birimin üzerine çıktığında, genellikle sayısal ve hassas zorluklarla karşılaşır . $\theta$

Tersine, Markov zinciri Monte Carlo yöntemleri, yerel dağılımı, yani mevcut değerin bir mahallesinde ve daha az sayıda bileşende, yani alt alanlarda posterior dağılımı araştırabilmeleri için büyük boyutlara daha uygundur. Örneğin, Gibbs örnekleyicisi , bir seferde tek boyutlu bir hedeften simüle etmenin, yani ile ilişkili tam koşullu dağılımların , uzun vadede gerçek posteriordan simülasyon elde etmek için yeterli olduğu fikrini doğrular . $p(\theta|x)$

Markov zinciri Monte Carlo, Metropolis-Hastings algoritması gibi algoritmaların , sabit bir şekilde hesaplanabilen herhangi bir arka dağılım için resmi olarak mevcut olması nedeniyle bir dereceye kadar evrenselliği de yöntemler . $p(\theta|x)$

Durumlarda kolayca hesaplanabilir edilemez, alternatifler var, ya olduğu gibi daha büyük bir boşluk üzerinde yönetilebilir bir dağıtım içine bu dağılımı tamamlayarak veya ABC gibi Markovian olmayan yöntemlerle . $p(\theta)f(x|\theta)$

p (θ) f (x | θ) \propto \int g (z | θ, x) p (θ) f (x | θ) d z

$p(\theta)f(x|\theta)\propto \int g(z|\theta,x) p(\theta)f(x|\theta)\text{d}z$

MCMC yöntemleri, 1990 yılında Alan Gelfand ve Adrian Smith tarafından yöntemin yaygınlaştırılmasını izleyen yükselişin gösterdiği gibi Bayes yöntemleri için çok daha geniş bir erişim sağlamıştır.

— Xi'an
kaynak

HATA KİTABI bağlantısı artık çalışmıyor.

— HelloWorld