Genel MH-MCMC'ye karşı Gibbs örneklemesi

20

Gibbs örnekleme ve Metropolis Hastings algoritması hakkında biraz okuma yapıyorum ve birkaç sorum var.

Anladığım kadarıyla, Gibbs örneklemesi durumunda, büyük bir çok değişkenli problemimiz varsa, koşullu dağıtımdan örnek alıyoruz, yani bir değişkeni örneklerken, diğerlerini sabit tutarken MH'de tam eklem dağılımından örnek alıyoruz.

Belgenin söylediği bir şey, önerilen örneğin Gibbs Sampling'de her zaman kabul edilmesidir, yani teklif kabul oranı her zaman 1'dir. Bana göre bu, büyük çok değişkenli problemler için büyük bir avantaj gibi görünüyor MH algoritması için reddetme oranı oldukça büyük görünüyor . Gerçekten durum buysa, arka dağılımı oluşturmak için her zaman Gibbs Sampler'ı kullanmamanın nedeni nedir?

— Luca
kaynak

11

İyi yapılandırılmış çok değişkenli bir MH teklifi, koşullardan örnekleme mümkün olduğunda bile Gibbs örneklemesinden büyük ölçüde daha iyi performans gösterebilir (örn. Yüksek boyutlu çok değişkenli normal, HMC, değişkenler yüksek derecede korelasyonlu olduğunda Gibbs'i geniş bir farkla yener). Çünkü Gibbs örneklemesi değişkenlerin birlikte gelişmesine izin vermez. Bireysel bağımsız değişkenleri yinelemeli olarak optimize ederek bir işlevi optimize etmeye biraz benzer - ikincisini yapmak daha kolay olsa da, art arda her bir argüman yerine tüm argümanları ortaklaşa optimize ederseniz daha iyisini yapabilirsiniz.

— Adam

Metropolis-Hastings, bir koşullu teklif kullanarak örnekleme yapabilir. Belirli bir MH türünden mi bahsediyorsunuz ?

— Glen_b -Manica Monica

1

Yorum için teşekkürler. Hayır, sadece Gibbs Sampler'in neden daha sık kullanılmadığını düşünüyordum. koşullu dağıtım formunun Gibbs örneklemesi için a-priori olarak bilinmesi gerektiğini kaçırmıştı. Mevcut ihtiyaçlarım için bir kombinasyonun en iyi sonucu verdiği görülüyor. Bu nedenle, diğerlerini sabit tutarken parametrelerin bir alt kümesi için bir MH adımı kullanın ve daha sonra diğer alt kümeler için Gibbs kullanın (koşulların analitik olarak değerlendirilmesi kolaydır). Sadece başlıyorum, bu yüzden çeşitli MH türlerinin farkında değilim. Bununla ilgili herhangi bir tavsiye takdir :-)

— Luca

12

Metropolis algoritmasını kullanmanın ardındaki temel gerekçe, ortaya çıkan posterior bilinmediğinde bile kullanabileceğiniz gerçeğinde yatmaktadır. Gibbs örneklemesi için çizdiğiniz posterior dağılımları bilmek zorundasınız.

— user3777456
kaynak

1

Yanıt için teşekkürler! GS ile birlikte, fikir şudur ki şartlar oldukça kolay bir şekilde örneklenebilen daha basit dağılımlardır.

— Luca

2

Evet bu doğru. Ancak çoğu zaman Gibbs örneklemesi ve Metropolis birlikte kullanılır. Bu nedenle, bazı değişkenler üzerinde koşullandırma size kapalı bir form posterior verirken, diğerleri için bu mümkün değildir ve bir "Metropolis adımı" kullanmanız gerekir. Bu durumda, hangi tür Metropolis örnekleyicisine (bağımsızlık, rastgele yürüyüş) ve ne tür bir teklif yoğunluğu kullandığınıza karar vermelisiniz. Ama sanırım bu biraz fazla ileri gidiyor ve önce bu şeyleri kendiniz okumalısınız.

— user3777456

3

Gibbs örneklemesi, (muhtemelen yüksek boyutlu) parametre alanını birkaç düşük boyutlu adıma böltüğünüz için, örneklemedeki boyutsallığın lanetini kırar. Metropolis-Hastings, reddetme örnekleme tekniklerini üretmenin bazı boyutsal problemlerini hafifletir, ancak algoritmanın boyutsallığın lanetinden muzdarip olmasına neden olan tam bir çok değişkenli dağılımdan (ve örneği kabul etmeye / reddetmeye karar verirsiniz) örnekleme yapıyorsunuz.

Bunu bu basitleştirilmiş şekilde düşünün: Aynı anda tüm değişkenlerden (Metropolis Hastings) bir seferde bir değişken (Gibbs) için bir güncelleme önermek çok daha kolaydır.

Bununla birlikte, parametrelerin uzayının boyutu, hem Gibbs hem de Metropolis Hastings'deki yakınsamayı hala etkileyecektir, çünkü potansiyel olarak yakınsamayan daha fazla parametre vardır.

Gibbs da güzeldir çünkü Gibbs döngüsünün her adımı kapalı formda olabilir. Bu genellikle, her bir parametrenin sadece birkaçı üzerinde koşullandırıldığı hiyerarşik modellerde geçerlidir. Her Gibbs adımının kapalı formda olması için modelinizi sıkıştırmak genellikle oldukça basittir (her adım eşlenik olduğunda bazen "yarı eşlenik" olarak adlandırılır). Bu çok hoş, çünkü genellikle çok hızlı olabilen bilinen dağıtımlardan örnek alıyorsunuz.

— TrynnaDoStat
kaynak

"Gibbs örneklemesi, örneklemedeki boyutsallığın lanetini kırıyor": aslında, Gibbs örneklemesi, uyarlanabilir bir teklif kovaryans matrisi olan Metropolis Hastings gibi bir şeyden çok daha kötü olma eğilimindedir .

— Cliff AB