Uygunsuz Dağıtımdan Örnekleme (MCMC kullanarak ve başka şekilde)

Temel sorum şu: Yanlış bir dağıtımdan nasıl örnek alırdınız? Uygun olmayan bir dağılımdan numune almak bile mantıklı mı?

Xi'an'ın buradaki yorumu soruya cevap veriyor, ancak bu konuda daha fazla ayrıntı arıyordum.

MCMC'ye daha spesifik:

MCMC hakkında konuşurken ve makaleleri okurken, yazarlar uygun posterior dağılımlar elde ettikleri üzerinde dururlar. Yazarın posteriorun uygun olup olmadığını kontrol etmeyi unuttuğu ünlü Geyer (1992) makalesi var (aksi takdirde mükemmel bir kağıt).

Ancak, diyelim ki bir olasılığımız ve üzerinde uygun olmayan bir önceki dağılım , sonuçtaki posteriorun da uygun olmaması ve MCMC'nin dağıtımdan örneklemek için kullanılması. Bu durumda, örnek neyi gösterir? Bu örnekte yararlı bilgi var mı? Buradaki Markov zincirinin geçici veya sıfır tekrarlı olduğunun farkındayım. Eğer null- yineleniyorsa olumlu katılımlar var mı?$f(x|\theta)$$\theta$

Son olarak, Neil G'nin yanıtında burada , o 's anma

yanlış olsa bile tipik olarak posteriordan (MCMC kullanarak) numune alabilirsiniz.

Böyle bir örneklemenin derin öğrenmede yaygın olduğunu belirtiyor. Bu doğruysa, bu nasıl bir anlam ifade ediyor?

$f$$f$$(\Omega,\sigma,{\mathbb P})$

Uygun olmayan bir posteriora yol açan daha önce uygun olmayan bir modeliniz varsa, çoğu durumda yine de MCMC kullanarak örnekleme yapabilirsiniz, örneğin Metropolis-Hastings ve "posterior örnekler" makul görünebilir. Bu ilk bakışta ilgi çekici ve paradoksal görünüyor. Ancak bunun nedeni, MCMC yöntemlerinin pratikte bilgisayarların sayısal sınırlamalarıyla sınırlı olması ve bu nedenle, tüm bilgisayar desteklerinin bir bilgisayar için sınırlanmış (ve ayrık!) Olmasıdır. Daha sonra, bu kısıtlamalar (sınırlılık ve takdirsizlik) altında posterior çoğu durumda uygundur.

Hobert ve Casella tarafından, bir poster için Gibbs örnekleyicisi oluşturabileceğiniz bir örnek (biraz farklı bir doğaya) gösteren büyük bir referans var, posterior örnekler mükemmel makul görünüyor, ancak posterior yanlış!

http://www.jstor.org/stable/2291572

Benzer bir örnek yakın zamanda burada ortaya çıktı . Aslında, Hobert ve Casella okuyucuya, MCMC yöntemlerinin posteriorun uygunluğunu tespit etmek için kullanılamayacağı ve herhangi bir MCMC yöntemi uygulanmadan önce bunun ayrıca kontrol edilmesi gerektiği konusunda uyarır. Özetle:

1. Metropolis-Hastings gibi bazı MCMC örnekleyicileri, bilgisayar parametre alanını sınırladığı ve dikte ettiği için uygunsuz bir posteriordan numune almak için kullanılabilir (ancak olmamalıdır). Sadece büyük örnekleriniz varsa , bazı garip şeyleri gözlemleyebilirsiniz. Bu sorunları ne kadar iyi tespit edebileceğiniz, örnekleyicinizde kullanılan "enstrümantal" dağılıma da bağlıdır. İkinci nokta daha kapsamlı bir tartışma gerektiriyor, bu yüzden burada bırakmayı tercih ediyorum.
2. (Hobert ve Casella). Önceden uygunsuz olan bir model için bir Gibbs örnekleyici (koşullu model) oluşturabileceğiniz gerçeği, posteriorun (eklem modeli) uygun olduğu anlamına gelmez.
3. Posterior örneklerin resmi olasılıksal yorumu posteriorun uygunluğunu gerektirir. Yakınsama sonuçları ve kanıtlar yalnızca uygun olasılık dağılımları / önlemleri için belirlenir.

PS (yanakta biraz dil): İnsanların Machine Learning'de ne yaptığına her zaman inanmayın. Prof. Dr. Brian Ripley'in dediği gibi: “makine öğrenimi istatistik eksi model ve varsayımların kontrolüdür”.

Rod'un yukarıdaki mükemmel cevabından alternatif, daha uygulamalı bir görünüm vermek -

$+/- 10^{100}$

$1/x$önce - bir üst sınırı olmayan hesaplama için kullandığım ve San Francisco nüfusunun sıfıra eşit olduğu "ekstra özellik" ... "ekstra özellik" asıl örnek MCMC hesaplamasında kullanılan örnek değildir (benim örneğimde).

Prensip olarak, uygulanan işte uygunsuz bir dağıtımdan MCMC tarafından üretilen bir örnek kullanarak oldukça iyi olurdum, ancak bu uygunsuzluğun nasıl ortaya çıktığı ve rastgele örneğin bundan nasıl etkileneceğine çok dikkat ediyorum. . İdeal olarak, rastgele örnek, San Francisco'daki insan sayısından daha fazla rastgele bir sayı asla üretmeyeceğiniz hot-dog örneğimde olduğu gibi, rastgele örnekten etkilenmeyecektir ...

Ayrıca, daha sonra çok sayıda (ya da modeliniz için uygun olan herhangi bir değişiklik varsa) kesseniz bile, sonuçlarınızın posteriorun uygunsuz olmasına neden olan özelliğine oldukça duyarlı olabileceğinin farkında olmalısınız. ) Sonuçlarınızın posteriorunuzu uygunsuzdan uygun hale getiren hafif değişikliklere karşı sağlam olmasını istiyorsunuz. Bunu sağlamak daha zor olabilir, ancak sonuçlarınızın varsayımlarınıza, özellikle de kolaylık sağlamak için yapılanlara karşı sağlam olduğundan emin olmanın daha büyük probleminin bir parçasıdır.