Gereksiz ortalama parametre ayarı neden Gibbs MCMC'yi hızlandırıyor?

Gelman & Hill (2007) kitabında (Regresyon ve Çok Düzeyli / Hiyerarşik Modeller Kullanılarak Veri Analizi), yazarlar gereksiz ortalama parametreler eklemenin MCMC'yi hızlandırmaya yardımcı olabileceğini iddia etmektedir.

Verilen örnek, içiçe yerleştirilmemiş bir "uçuş simülatörü" modelidir (Denk 13.9):

\begin{aligned} y_{i} & \sim N (μ + γ_{j [i]} + δ_{k [i]}, σ_{y}^{2}) \\ γ_{j} & \sim N (0, σ_{γ}^{2}) \\ δ_{k} & \sim N (0, σ_{δ}^{2}) \end{aligned}

$\begin{align} y_i &\sim N(\mu + \gamma_{j[i]} + \delta_{k[i]}, \sigma^2_y) \\ \gamma_j &\sim N(0, \sigma^2_\gamma) \\ \delta_k &\sim N(0, \sigma^2_\delta) \end{align}$

ve ortalama parametrelerini aşağıdaki gibi ekleyerek yeniden parametrelendirmeyi : $\mu_\gamma$ $\mu_\delta$

\begin{aligned} γ_{j} \sim N (μ_{γ}, σ_{γ}^{2}) \\ δ_{k} \sim N (μ_{δ}, σ_{δ}^{2}) \end{aligned}

$\begin{align} \gamma_j \sim N(\mu_\gamma, \sigma^2_\gamma) \\ \delta_k \sim N(\mu_\delta, \sigma^2_\delta) \end{align}$

Sunulan tek gerekçe şudur (s. 420):

Simülasyonların tüm vektör (veya ) 'nın sıfırdan uzak olduğu bir konfigürasyonda sıkışması mümkündür (ortalama 0 ile bir dağıtım atanmış olsalar bile). Nihayetinde, simülasyonlar doğru dağılıma yaklaşacak, ancak beklemek zorunda değiliz. $\gamma$ $\delta$

Gereksiz ortalama parametreler bu soruna nasıl yardımcı olur?

Bana öyle geliyor ki iç içe olmayan model yavaşça ve ile ilişkili olduğundan yavaştır . (Gerçekten, eğer biri artarsa, toplamı veriler tarafından "sabit" olduğu göz önüne alındığında diğeri aşağı inmelidir). Gereksiz ortalama parametreleri ve arasındaki ilişkiyi veya başka bir şeyi tamamen azaltmaya yardımcı olur mu? $\gamma$ $\delta$ $\gamma$ $\delta$

mcmc hierarchical-bayesian gibbs

— Heisenberg
kaynak

Bu özel sorun hakkında sezgisel bir içgörü mü arıyorsunuz (örn. - korelasyonu yoksa - ve - korelasyonu ), yoksa genel sorun ( Hiyerarşik merkezleme kavramı)? İkinci durumda, çok daha gevşek olan ve az ya da çok nasıl çalıştığını gösteren bir kanıt ya da sezgiye yakın olan sezgi ister misiniz?

γ

$\gamma$

δ

$\delta$

γ

$\gamma$

μ

$\mu$

δ

$\delta$

μ

$\mu$

— Sextus Empiricus

Genel olarak hiyerarşik merkezleme kavramı hakkında sezgisel bir görüş istiyorum (çünkü söz konusu özel durum doğrudan hiyerarşik merkezleme uygulamasıdır). Anlamak istediğim temel nokta şudur: grup seviyesindeki varyans toplam varyansın önemli bir parçasıysa , hiyerarşik merkezleme neden çalışır ? Gelfand ve ark. bunu matematiksel olarak kanıtlar (yani korelasyonu türetir ve sınırlayıcı davranışını bulur), ancak sezgisel bir açıklama yapmaz.

— Heisenberg

Kaçınılması gereken korelasyon ile ve . $\mu$ $\gamma_j$ $\delta_k$

Değiştirerek ve içinde hesaplama merkez etrafında o alternatif parametrelerle modeli korelasyon azalır. $\gamma_j$ $\delta_k$ $\mu$

Çok net bir açıklama bölümü için bkz. 25.1 'Hiyerarşik merkezleme nedir?' William J. Browne ve diğerleri tarafından yayınlanan (serbestçe kullanılabilir) 'MLwiN'de MCMC tahmini' kitabında . http://www.bristol.ac.uk/cmm/software/mlwin/download/manuals.html

— Sextus Empiricus
kaynak

'MCMC tahmini MlwiN' Bölüm 25.1, bu "hiyerarşik merkezleme" tekniğini tarif eder, ancak çalıştığını iddia etmekten başka herhangi bir ayrıntıya girmez. Referanslarını inceleyerek, bu tekniğin gerçek kanıtının, normal lineer karışık modeller için verimli parametrelendirmeler makalesinde , Gelfand ve arkadaşları, Biometrika cilt 82 sayı 3'te sunulduğunu buldum .

— Heisenberg

Yukarıdaki makalede, açıklanmadan normal dağılımın özellikleri kullanılmaktadır. Kevin Murphy'nin Gauss dağılımının Conjugate Bayesian analizinde bu özelliklerin kanıtlarını buldum .

— Heisenberg

Ne yazık ki, hala bu tekniğin neden işe yaradığına dair sezgisel bir açıklama görmedim.

— Heisenberg

Geç oldu ama sanırım bu makale aradığın şey olabilir

— baruuum