Ayrık parametreler için hangi MCMC algoritmaları / teknikleri kullanılır?

Sürekli parametrelerin özellikle degrade tabanlı yöntemlerin takılması hakkında adil bir miktar biliyorum, ancak ayrık parametrelerin takılması hakkında fazla bir şey bilmiyorum.

Ayrık parametreleri takmak için yaygın olarak kullanılan MCMC algoritmaları / teknikleri nelerdir? Hem oldukça genel hem de oldukça güçlü algoritmalar var mı? Boyutsallığın laneti ile ilgilenen algoritmalar var mı? Örneğin Hamiltonian MCMC'nin genel, güçlü ve iyi ölçeklendiğini söyleyebilirim.

Rastlantısal bir ayrık dağılımdan örnekleme, sürekli bir dağılımdan örneklemekten daha zor gibi görünmektedir, ancak tekniğin durumunun ne olduğunu merak ediyorum.

Düzenleme : JMS, ayrıntılı bir şekilde hazırlanmamı istedi.

Aklımda belirli uygulamalarım yok, ancak hayal ettiğim bazı modeller:

• Çeşitli sürekli regresyon modelleri arasında model seçimi. Ayrık bir tek 'model' parametreniz var
• Her bir gözlemin 'aykırı' olma olasılığına sahip olduğu ve çok daha dağınık bir dağılımdan alındığı sürekli bir model. Sanırım bu bir karışım modeli.

Birçok modelin hem sürekli hem de ayrık parametreler içermesini beklerim.

Yani basit cevap evet: Metropolis-Hastings ve özel durumu Gibbs örneklemesi :) Genel ve güçlü; ölçeklendirilip ölçeklendirilmemesi mevcut soruna bağlıdır.

$f(k)$$P(\tilde k = k) = f(k)/\sum f(k)$$k$

Aklınızda belirli bir model var mı? Karışım modellerinin takılması için, örneğin gizli bileşen atamalarının ayrı parametreler olduğu her türlü MCMC yaklaşımı vardır. Bunlar çok basit (Gibbs) ile oldukça karmaşık arasında değişir.

Parametre alanı ne kadar büyük? Potansiyel olarak muazzam mı (örneğin, karışım modeli durumunda, karışım bileşenlerinin sayısına göre N'dir)? Konjugasite artık bir sorun olmadığından, Gibbs örnekleyicisinden başka bir şeye ihtiyacınız olmayabilir (normal koşulların sabitini doğrudan elde edebilirsiniz, böylece koşulların tamamını hesaplayabilirsiniz). Aslında griddy Gibbs, hesaplamayı kolaylaştırmak için sürekli bir önceliğin takdir edildiği bu durumlar için popülerdi.

Sürekli bir durum için olduğundan daha fazla bir ayrık parametre alanı olan tüm sorunlar için belirli bir "en iyi" olduğunu sanmıyorum. Ancak, ilgilendiğiniz modeller hakkında bize daha fazla bilgi verirseniz, belki bazı önerilerde bulunabiliriz.

Düzenleme: Tamam, ben biraz daha bilgi verebilirim: senin örnekleri.

$p(\beta)\sim \pi N(\beta; 0, \tau) + (1-\pi) N(\beta, 0, 1000\tau)$$p(\beta)\sim \pi \delta_0 (\beta) + (1-\pi) N(\beta, 0, \tau)$$\delta_0$$\beta$$Z$$Z_1\dots, Z_p$$2^p$$1:2^p$

$p(Z, \beta|y)$$p(Z, \beta|y) = p(\beta | Y, Z)p(Z|Y)$$Z$$\beta$

SSVS tüm model alanını büyük bir modele gömer. Çoğunlukla bunun uygulanması kolaydır, ancak kötü işler verir. Tersinir atlama MCMC, parametre alanının boyutunun açıkça değişmesine izin veren farklı bir yaklaşımdır; inceleme ve bazı pratik notlar için [3] 'e bakınız. Literatürde farklı modellerde uygulama hakkında daha ayrıntılı notlar bulabilirsiniz, eminim.

$p=1000$

Popülerlik kazanmakta olan farklı bir yaklaşım, modelin ortalama sonuçlarını taklit etmesinden önce kesinlikle sürekli büzülme kullanmaktır. Tipik olarak bunlar normallerin ölçek karışımları olarak formüle edilir. Bayes kementi, normal-gama öncelikleri için özel bir durum ve normal-üstel-gama öncelikleri için sınırlayıcı bir durum olan bir örnektir. Diğer seçenekler arasında at nalı ve varyanslarında ters beta önceliği olan genel normal dağılım sınıfı bulunmaktadır. Bunlar hakkında daha fazla bilgi için, [6] ile başlayıp referansları gözden geçirmeyi öneriyorum (burada çoğaltmak için çok fazla :))

Bir şansım olursa daha sonra aykırı modeller hakkında daha fazla ekleyeceğim; klasik referans [7]. Ruhun küçülme önceliklerine çok benziyorlar. Genellikle Gibbs örneklemesi ile yapmak oldukça kolaydır.

Belki de umduğunuz kadar pratik değil; Özellikle model seçimi zor bir sorundur ve model ne kadar ayrıntılı olursa o kadar kötüleşir. Blok güncelleme mümkün olan her yerde genel tavsiyemdir. Bir dağıtım karışımından örnekleme, genellikle üyelik göstergeleri ve bileşen parametrelerinin yüksek derecede ilişkili olduğu sorununa sahip olacaksınız. Ayrıca, etiket değiştirme sorunlarına (veya etiket değiştirme eksikliğine) değinmedim; orada biraz edebiyat var ama benim tekerlekli evimden biraz.

Her neyse, buradaki bazı referanslarla başlamak, diğerlerinin benzer sorunlara yaklaşmasının farklı yollarını hissetmek için yararlı olduğunu düşünüyorum.

[1] Merlise Clyde ve EI George. Model Belirsizliği İstatistik Bilimi 19 (2004): 81-94. http://www.isds.duke.edu/~clyde/papers/statsci.pdf

[2] http://www-personal.umich.edu/~bnyhan/montgomery-nyhan-bma.pdf

[3] Green & Hastie Tersinir sıçrama MCMC (2009) http://www.stats.bris.ac.uk/~mapjg/papers/rjmcmc_20090613.pdf

[4] http://www.stat.duke.edu/~clyde/BAS/

[5] http://ba.stat.cmu.edu/journal/2010/vol05/issue03/bottolo.pdf

[6] http://www.uv.es/bernardo/Polson.pdf

[7] Mike West Outlier modelleri ve Bayes lineer regresyonunda önceki dağılımlar (1984) JRSS-B