Posterior dağılımların etkilenememesine neden olan faktörler nelerdir?

Bayesci istatistiklerinde, genellikle posterior dağılımın içe çekilemez olduğu ve bu nedenle yaklaşık çıkarımın uygulanması gerektiği belirtilir. Bu kararsızlığa neden olan faktörler nelerdir?

Mesele esas olarak Bayesian analizinin gerçekçi problemlerde çoğu zaman çok boyutlu olan integralleri içermesi ve tipik olarak analitik olarak analiz edilemeyen entegralleri içermesidir (konjugat öncüllerinin kullanımını gerektiren birkaç özel durum hariç).

Buna karşılık, Bayesian dışı istatistiklerin çoğu, maksimum olasılığa dayanmaktadır - türevlerini , yani farklılaşmasını içeren bir (genellikle çok boyutlu) fonksiyonun maksimumunu bulmak . Buna rağmen, sayısal yöntemler birçok daha karmaşık problemde kullanılsa da, bunlar olmadan daha sık elde etmek mümkündür ve sayısal yöntemler daha basit olabilir (pratikte daha az basit olanlar daha iyi performans gösterebilse bile).

Bu yüzden, farklılaşmanın entegrasyondan daha izlenebilir olduğu gerçeğine bağlı olduğunu söyleyebilirim.

David Blei'ye bu soruyu şahsen sorma fırsatım oldu ve bana bu bağlamdaki uyumsuzluğun iki şeyden biri olduğunu söyledi :

1. İntegralin kapalı form çözümü yoktur. Bu, bazı karmaşık, gerçek dünyadaki verileri modellerken ve dağılımı kağıda yazamadığımız zaman olabilir.

2. İntegral hesaplamalı olarak etkileyicidir. Bir kalem ve kâğıtla oturmamı ve aslında Bayesçi Gaussian karışımı için marjinal kanıtları incelememi önerdi. Bunun hesaplamalı olarak inatçı olduğunu, yani üstel olduğunu göreceksiniz. Son bir makalede buna güzel bir örnek veriyor (Bkz. 2.1 Yaklaşık çıkarım sorunu ).

FWIW, bu kelime seçimini kafa karıştırıcı buluyorum, çünkü (1) anlam olarak aşırı yüklenmiş ve (2) CS'de zaten yalnızca hesaplanabilirlikten bahsetmek için yaygın olarak kullanılıyor.

Aslında, çeşitli olasılıklar var:

1. posterior (örneğin: , : ve posterior bir dağılımı),$Y\sim \text{Bin}(n,\pi)$$\pi$$\text{Beta}(a,b)$$p(\pi|Y=y)$$\text{Beta}(a+y,b+n-y)$
2. Posterior normalize sabiti (örnek, uysal kadar olan: , için, önceki olan ve )log π N ( μ , σ 2 ) p ( π | Y = y ) ∝ p ( y | π ) p ( π $Y\sim \text{Bin}(n,\pi)$$\log \pi$$N(\mu, \sigma^2)$$p(\pi|Y=y) \propto p(y|\pi) p(\pi)$
3. veri üretme süreci, karmaşık bir mekanizmadır; o kadar karmaşıktır ki, bir likelihod yazamayız (veya değerlendirmeyi sonsuza dek sürdürebilirsek), ancak veri üretme işleminden (örneğin, belirli özelliklerin nasıl yapıldığına ilişkin bir tür süreç) taklit edebiliriz. bir popülasyonda birçok nesiller üzerinde gelişir). Yukarıdaki örneğe devam etmek için, bu durumda için kapalı bir form ifademiz olmayacak , ancak belirli bir değeri verilen gerçekleşmelerini simüle edebildik (sahip olduğumuz durum hakkında konuşmayalım bile. veri nasıl ortaya çıktığını bilmiyorum ...).Y $p(y|\pi)$$Y$$\pi$

İnsanlar genellikle (analitik olarak) izlenemeyen bir posterior hakkında konuşurken (2) gibi bir şey ifade ederler ve takip edilemeyen bir olasılık hakkında konuştukları zaman (3) gibi bir şey ifade ederler. Yaklaşık Bayesian hesaplamasının seçeneklerden biri olduğu üçüncü durumdur, ikinci durumda ise MCMC metotları genellikle uygulanabilir niteliktedir (bunun bir anlamda yaklaşık olduğunu iddia edebilirsiniz). Tamamen emin değilim, bu ikisinden hangisinin sizin sağladığınız alıntıya atıfta bulunduğundan emin değilim.

İzlenebilirlik, bir ifadenin kapalı formuyla ilgilidir .

Sorunların, kapalı biçim ifadesiyle çözülebiliyorsa izlenebilir oldukları söylenir.

Matematikte, kapalı formlu ifade, sınırlı sayıda işlemle değerlendirilebilen matematiksel bir ifadedir. Sabitler, değişkenler, belirli "iyi bilinen" işlemler (örneğin, + - × ÷) ve işlevler (örneğin, nt kök, üs, üs, logaritma, trigonometrik işlevler ve ters hiperbolik işlevler) içerebilir, ancak genellikle sınırsız olabilir. Kapalı formdaki bir ifadeye kabul edilen işlem ve işlevler, yazara ve içeriğe göre değişebilir.

Bu nedenle, kararsızlık, sınırlı sayıda işlemle değerlendirilemeyen (integrallerde sonsuz toplama gibi) bir tür sınır / sonsuzluk olduğu anlamına gelir ve bu nedenle yaklaştırma teknikleri (MCMC gibi) kullanılmalıdır.

Wikipedia makalesi, Cobham'ın bu "işlem miktarını" resmileştirmeye çalışan tezi ve dolayısıyla izlenebilirliği işaret ediyor.