Maksimum posterior tahmini varsa MCMC tabanlı yöntemler uygun mudur?

Birçok pratik uygulamada, posterior analitik olmasına rağmen (örneğin, öncekiler eşlenik olduğu için) bir parametreyi tahmin etmek için MCMC tabanlı yöntemlerin kullanıldığını fark ettim. Benim için MCMC tabanlı tahmin edicilerden ziyade MAP tahmin edicilerinin kullanılması daha anlamlı. Herkes MCMC'nin analitik posterior varlığında neden hala uygun bir yöntem olduğunu belirtebilir mi?

Bu durumda MCMC kullanmaya gerek yoktur: Markov Zinciri Monte-Carlo (MCMC) bir dağıtımdan değer üretmek için kullanılan bir yöntemdir. Sabit dağılıma, hedef dağılıma eşit bir oto-korelasyon değerleri Markov zinciri üretir. Bu yöntem, hedef dağılımın analitik bir formunun olduğu durumlarda bile, istediğinizi elde etmenizi sağlar. Bununla birlikte, böyle analitik bir şekle sahip bir posteriorla uğraştığınız gibi durumlarda daha basit ve daha az hesaplama açısından yoğun yöntemler vardır.

Posterior dağılımın kullanılabilir bir analitik forma sahip olması durumunda, standart analiz teknikleri kullanılarak bu dağılımdan optimizasyon ile parametre tahminleri (örneğin MAP) elde etmek mümkündür. Hedef dağılımı yeterince basitse, parametre tahmincisi için kapalı bir form çözümü alabilirsiniz, ancak olmasa bile, genellikle basit yinelemeli teknikleri (örneğin, Newton-Raphson, gradyan-iniş, vb.) herhangi bir girdi verisi için parametre tahmininin optimize edilmesi. Hedef dağılımın kantil işlevi için analitik bir formunuz varsa ve dağıtımdan değerler oluşturmanız gerekiyorsa, bunu ters dönüşüm örneklemesi yoluyla yapabilirsinizMCMC'den daha az hesaplama gerektirir ve karmaşık otomatik korelasyon kalıplarına sahip değerler yerine IID değerleri oluşturmanıza olanak tanır.

Bunu göz önünde bulundurarak, sıfırdan programlama yapıyorsanız, hedef dağıtımın kullanılabilir bir analitik forma sahip olması durumunda MCMC'yi kullanmanız için herhangi bir neden görünmemektedir. Bunu yapmanın tek nedeni, MCMC için önceden yazılmış, minimum çaba ile uygulanabilen genel bir algoritmanız varsa ve analitik formu kullanma verimliliğinin gerekli matematiği yapma çabasından daha ağır bastığına karar vermenizdir. Bazı pratik bağlamlarda, MCMC algoritmalarının önceden kurulduğu ve minimum çaba ile uygulanabildiği (örneğin, veri analizi yaparsanız)RStan). Bu durumlarda, problemlere analitik çözümler elde etmek yerine mevcut MCMC yöntemlerinizi çalıştırmak en kolay yöntem olabilir, ancak elbette, çalışmalarınız için bir kontrol olarak kullanılabilir.

$\pi(\theta)$

$$\min_\delta\int_\Theta \text{L}(\theta,\delta)\,\tilde\pi(\theta)\,f(x|\theta)\,\text{d}\theta$$ $\tilde\pi(\cdot)\propto\pi(\cdot)$

Normalleştirme sabiti mevcut olmadığında,

$$\int \tilde\pi(\theta)\,\text{d}\theta$$ posterior ortalama veya medyan veya çift mod bulma (sabitin bilinmesini gerektirmeyen), çoğunlukla ilerler bir MCMC algoritması aracılığıyla. Örneğin, am halinde ortak yoğunluğu verilir , , esinlenerek Ali Mikhail-Hak copula ) düzgün normalize (ve gerçekten de olabilir, ancak: koşullu beklenen arasında verilen bu yoğunluk altında$x,y\in(0,1)$

$$f_\theta(x,y)=\dfrac{1+\theta[(1+x)(1+y)-3]+\theta^2(1-x)(1-y)) }{[1-\theta(1-x)(1-y)]^3}\qquad\theta\in(-1,1)$$ $\Phi^{-1}(X)$$Y=y$$\Phi(.)$Normal cdf, kapalı formda mevcut değildir. Ancak bu birincil ilgi konusudur .

Ayrıca, maksimum bir posteriori tahmin edicinin Bayesci bir ortamda en doğal tahmin edici olmadığını , çünkü bir kayıp fonksiyonuna karşılık gelmediğini ve yoğunluğun kapalı form gösteriminin, bir sabite kadar bile, MAP'yi bulmadığını unutmayın. mutlaka kolay. Veya ilgili MAP'yi kullanarak.

Okuduğumda, bu soru iki şekilde dikey soru soruyor. Biri MAP tahmincilerini posterior yollarda kullanmalı, diğeri ise posteriorun analitik bir formu varsa MCMC'nin olup olmayacağıdır.

Posterior araçlar üzerindeki MAP tahmincileri ile ilgili olarak, teorik açıdan, cevabında @ Xian notları olarak posterior araçlar genellikle tercih edilir. MAP tahmincilerinin gerçek avantajı, özellikle posteriorun kapalı formda olmadığı daha tipik bir durumda, posterior ortalamanın bir tahmininden çok daha hızlı (yani birkaç büyüklük sırası) hesaplanabilmeleridir. Posterior yaklaşık olarak simetrik ise (bu genellikle büyük örneklem büyüklüklerinde birçok problemde görülür), o zaman MAP tahmini posterior ortama çok yakın olmalıdır. Dolayısıyla MAP'ın çekiciliği aslında posterior ortalamanın çok ucuz bir yaklaşımı olabilmesidir.

Normalleştirici sabitin bilinmesinin posterior modu bulmamıza yardımcı olmadığını unutmayın, bu nedenle posterior için kapalı bir form çözümüne sahip olmak, posterior'u belirli bir dağılım olarak tanıdığımız durum dışında MAP tahminini bulmamıza yardımcı olmaz. mod olduğunu biliyoruz.

İkinci soru ile ilgili olarak, eğer posterior dağılımın kapalı bir formu varsa, genel olarak konuşursak, MCMC algoritmalarını kullanmak için hiçbir neden yoktur. Teorik olarak, posterior dağılım için kapalı bir form çözümünüz vardı, ancak bazı fonksiyonların ortalaması için kapalı bir formunuz yoksa ve doğrudan bu kapalı form dağılımından çekilemediyseniz, MCMC algoritmalarına dönebilirsiniz. Ama bu durumun hiçbir durumunun farkında değilim.

Kapalı form çözümleri olsa bile MCMC yöntemlerinin her zaman uygun olmadığını iddia ediyorum . Açıkçası, analitik bir çözüm olduğunda hoş olur: genellikle hızlıdırlar, yakınsama (vb) ile ilgili endişelerden kaçınırsınız.

Öte yandan, tutarlılık da önemlidir. Teknikten tekniğe geçiş, sunumunuzu karmaşıklaştırır: en iyi ihtimalle, kitleyi kafa karıştırıcı sonuçlarınızdan uzaklaştırabilecek veya dikkatinizi dağıtabilecek dışsal detaydır ve en kötüsü de sonuçlara ağırlık verme girişimi gibi görünebilir. Birkaç modelim olsaydı, bunlardan sadece birkaçı kapalı biçimli çözümleri kabul etsem, kesinlikle gerekli olmasa bile hepsini aynı MCMC boru hattı üzerinden çalıştırmayı şiddetle tavsiye ederim.

Ben bundan şüpheleniyorum, artı atalet ("biz çalışan bu komut dosyası var") gördüğünüz şeylerin çoğunu açıklar.