MAP kullanarak bir parametreyi tahmin ederken neden MCMC'ye ihtiyaç vardır?

Bir parametrenin MAP tahmini formülü göz önüne alındığında, neden bir MCMC (veya benzeri) yaklaşıma ihtiyaç duyulur, sadece türevi alıp sıfıra ayarlayamadım ve parametre için çözemedim?

bayesian estimation mcmc

— Danu
kaynak

Harika bir soru!

Yanıtlar:

Posteriorunuzun hangi aileden geldiğini biliyorsanız ve bu dağılımın türevini bulmak analitik olarak mümkün ise, bu doğrudur.

Bununla birlikte, MCMC kullandığınızda, muhtemelen bu tür bir durumda olmayacaksınız. MCMC, posteriorunuzun nasıl göründüğüne dair açık bir analitik düşünceye sahip olmadığınız durumlar için yapılır .

— Christoph Hanck
kaynak

Bu biraz yanıltıcı olduğunu düşünüyorum: MCMC tipik olan değil MAP tahmincisi (bir MCEM algoritma gibi dış özel durumlar) bulmak için kullanılır.

— Cliff AB

İlke olarak seninle aynı fikirde değilim. Ancak, MCMC posterior dağılımı simüle etmek için kullanılabilir ve kullanılır . Ve bunu yaptıktan sonra, o dağıtımın modunu, yani MAP'yi bulabileceğinizden emin olabilirsiniz. İnanıyorum ki OP'nin aklında ne vardı, bu yüzden cevabımın neden yanıltıcı olacağından emin değilim.

— Christoph Hanck

Evet, ancak parametreyi optimize etmek için analitik bir yol yoksa, MAP ile uğraşırken MCMC tercih edilen yöntem midir?

— Dänu

Posterior dağılımın modunu bulmak için basit MCMC kullandığımı hiç duymadım (teknik olarak yapılabilir, ancak bu son derece verimsizdir). Tipik olarak posterior dağılım ile orantılı bir fonksiyonu değerlendirebildiğimiz için, bunun maksimize edilmesi posterior dağılımı maksimize etmeye eşdeğer olacaktır. Kutudan çıkar çıkmaz optimizasyon uzmanları bu konuda sık rastlanan herhangi bir olasılık sorunu kadar iyi çalışacaktır (yani, bazen bunları uzmanlaştırmanız gerekir).

— Cliff AB

@ Dänu Muhtemelen maxima'yı bulmak için MCMC'yi (bilgiç olmak, Markov zinciri olmak) kullanmak istemezsiniz. Bir optimizasyon algoritması daha iyi çalışmalıdır.

— jtobin

Çoğu posterior analitik olarak optimize edilmesinin zor olduğunu (yani bir gradyanı alarak ve sıfıra eşitleyerek) ve MAP yapmak için bazı sayısal optimizasyon algoritmasına başvurmanız gerekir.

Bir kenara: MCMC, MAP ile ilgisizdir.

MAP - maksimum posteriori için - posterior yoğunluğa orantılı bir şeyin yerel maksimum değerini bulmak ve karşılık gelen parametre değerlerini tahminler olarak kullanmak anlamına gelir. Olarak tanımlanır

{\hat{θ}}_{M bir P} = {argmax}_{θ} p (θ | D)

$\hat{\theta}_{MAP} = \text{argmax}_{\theta} \, p(\theta \, | \, D)$

MCMC tipik olarak bir olasılık yoğunluğu ile orantılı bir şeyle ilgili beklentileri tahmin etmek için kullanılır . Bir posterior durumunda, bu

{\hat{θ}}_{M C M C} = n^{- 1} Σ_{ben = 1}^{n} θ_{ben}^{0} \approx \int_{Θ} θ p (θ | D) d θ

$\hat{\theta}_{MCMC} = n^{-1} \sum_{i=1}^{n} \theta^{0}_{i} \approx \int_{\Theta}\theta \, p(\theta \, | \, D)d\theta$

burada , uygun bir Markov zinciri tarafından ziyaret edilen parametre alanı konumları koleksiyonudur. Genel olarak, anlamlı bir şekilde . $\{\theta^{0}_{i}\}^{n}_{i=1}$ $\hat{\theta}_{MAP} \neq \hat{\theta}_{MCMC}$

En önemli nokta , MCMC örneklemeye dayalıyken MAP'ın optimizasyonu içermesidir .

— jtobin
kaynak

Posteriorların analitik olarak optimize edilmesinin zor olduğunu, yani MAP'de olduğu belirtiliyor. Bu yüzden MAP sadece posterior analitik olarak optimize edilebilirse ve bu durumda değilse (örneğin) bir MCMC yaklaşımına başvurmak gerekir mi?

— Dänu

Hayır, analitik çözümle gelmek yerine, çözüm bulmak için yinelemeli bir algoritma kullanılabilir (örneğin log posterior içbükeyse, örneğin Newton'un Yöntemini kullanabilirsiniz).

— Cliff AB

MAP, posterioru (lokal olarak) maksimize eden parametre değerlerini bulmayı ifade eder. Bu parametre değerlerini nasıl elde ettiği önemli değildir: analitik olarak maxima için çözme, sayısal bir rutin, otomatik farklılaştırma vb.

— Kullanma