Tek tip aday dağılımı olan Metropolis-Hastings için kabul oranları

Metropolis-Hastings algoritmasını tek tip aday dağılımlarla çalıştırırken, kabul oranlarının% 20 civarında olmasının mantığı nedir?

Benim düşüncem şudur: true (veya true'ya yakın) parametre değerleri bulunduğunda, aynı tekdüzen aralıktan yeni bir aday parametre değeri kümesi olasılık fonksiyonunun değerini arttıramaz. Bu nedenle, ne kadar çok yineleme yaparsam, almam gereken kabul oranları o kadar düşük olur.

Bu düşüncede neredeyim? Çok teşekkürler!

İşte benim hesaplamalarım:

$$Acceptance\_rate = \exp \{l(\theta_c|y) + \log(p(\theta_c)) - [l(\theta^*|y) + \log(p(\theta^*) ]\},$$

burada , günlük olabilirliktir.$l$

As adayları hep aynı üniforma aralığından alınır,$\theta$

$$p(\theta_c) = p(\theta^*).$$

Bu nedenle kabul oranı hesaplaması:

$$Acceptance\_rate = \exp \{l(\theta_c | y) - [l(\theta^* | y) ]\}$$

kabul kuralı aşağıdaki gibidir:$\theta_c$

Eğer , aralığında düzgün dağılımından çizmek , daha sonra$U \le Acceptance\_rate$$U$$[0,1]$

$$\theta^* = \theta_c,$$

aksi halde aralığını$\theta_c$$[\theta_{min}, \theta_{max}]$

Roberts, Gelman ve Gilks'in rastgele yürüyüş Metropolis algoritmalarının zayıf yakınsamasının ve optimal ölçeklendirmesinin 0.234 optimal kabul oranının kaynağı olduğuna inanıyorum .

Makalenin gösterdiği, belirli varsayımlar altında, her bir koordinat için sınırlayıcı bir difüzyon elde etmek için uzayın boyutu sonsuzluğa giderken rastgele yürüyüş Metropolis-Hastings algoritmasını ölçeklendirebileceğinizdir. Limitte, kabul oranı 0.234 değerini alırsa difüzyon "en verimli" olarak görülebilir. Sezgisel olarak, kabul edilen birçok küçük adımı atmak ve reddedilen birçok büyük teklifi yapmak arasında bir takastır.

Metropolis-Hastings algoritması, benzetilmiş tavlamanın aksine, gerçekten bir optimizasyon algoritması değildir. Hedef dağılımdan simüle edilmesi gereken bir algoritmadır, bu nedenle kabul olasılığı 0'a doğru yönlendirilmemelidir.

Sadece @NRH tarafından cevap vermek için. Genel fikir Goldilocks prensibini takip eder :

• Atlamalar "çok büyük" ise, zincir yapışır;
• Atlamalar "çok küçük" ise, zincir parametre alanını çok daha yavaş araştırır;
• Atlamaların doğru olmasını istiyoruz.

Tabii ki soru, "doğru" ile ne demek istiyoruz. Esasen, belirli bir durum için beklenen kare atlama mesafesini en aza indirirler. Bu, gecikme-1 otokorelasyonlarını en aza indirmeye eşdeğerdir. Son zamanlarda, Sherlock ve Roberts büyü 0.234'ün diğer hedef dağılımları için tuttuğunu gösterdi:

C. Sherlock, G. Roberts (2009); Rasgele yürüyüş Metropolü'nün eliptik simetrik unimodal hedefler üzerinde optimum ölçeklendirilmesi ; Bernoulli 15 (3)

Bunu bir cevap olarak ekliyorum çünkü soru altında yorum yapmak için yeterli itibarım yok. Bence kabul oranı ve kabul oranı arasında kafanız karıştı .

1. Kabul oranı, bir adayın kabul edilip edilmeyeceğine karar vermek için kullanılır. Kabul oranı olarak adlandırdığınız oran aslında kabul oranı olarak adlandırılır ve kabul oranından farklıdır.
2. Kabul oranı, aday kabul etme oranıdır. MCMC zincirindeki benzersiz değer sayısının MCMC zincirindeki toplam değer sayısına oranıdır.

Şimdi, optimum kabul oranının% 20 olmasıyla ilgili şüpheniz aslında kabul oranı ile değil, gerçek kabul oranıyla ilgilidir. Cevap diğer cevaplarda verilmiştir. Sadece yaşadığınız karışıklığa dikkat çekmek istedim.