MCMC'de düşük oto-korelasyona sahip olmak neden istenir?

11

MCMC'de otokorelasyonu kontrol etme ihtiyacını okumaya devam ediyorum. Otokorelasyonun düşük olması neden önemlidir? MCMC bağlamında neyi ölçer?

sampling autocorrelation mcmc

— Amelio Vazquez-Reina
kaynak

3

Aslında, bir MCMC örnekleyicide yüksek negatif otokorelasyon üretebilseydi , bu örnekleyici iid örneklemesinde iyileşir. Ancak bu çok nadir bir durumdur ...

— Xi'an

4

Otokorelasyon, bir sinyalin değerinin zaman içindeki farklı noktalarda o sinyalin diğer değerleriyle ne kadar ilişkili olduğunun bir ölçüsüdür. MCMC bağlamında, otokorelasyon, posterior dağılımınızdan bağımsız olan farklı örneklerin ne kadar bağımsız olduğunun bir ölçüsüdür - daha bağımsız sonuçları gösteren daha düşük otokorelasyon.

Yüksek otokorelasyona sahip olduğunuzda, çizdiğiniz örnekler posterior dağılımı doğru bir şekilde temsil etmez ve bu nedenle sorunun çözümü için anlamlı bilgiler sağlamaz. Başka bir deyişle, düşük otokorelasyon, zincirlerinizde daha yüksek verimlilik ve daha iyi tahminler anlamına gelir. Genel kural, otokorelasyonunuz ne kadar düşük olursa, yöntemin etkili olması için o kadar az örneğe ihtiyacınız olacaktır (ancak bu aşırı basitleştirilebilir).

— Henry Hammond
kaynak

Δ A^{²} = \frac{Var A}{N}

$\Delta A^² = \frac{\text{Var} A}{N}$

Δ A^{²} = \frac{Var A}{N} (1 + 2 τ)

$\Delta A^² = \frac{\text{Var} A}{N}(1+2\tau)$

τ

$\tau$

A

$A$

\frac{N}{1 + 2 τ}

$\frac{N}{1+2\tau}$

N

$N$

10

İlk olarak ve en açık şekilde, otokorelasyon yüksekse, N örnekleri size dağıtımınızla ilgili N bilgi vermez, ancak bundan daha azdır. Etkili Örnek Boyutu (ESS), gerçekte ne kadar bilgi aldığınızın bir ölçüsüdür (ve otokorelasyon parametresinin bir fonksiyonudur).

Buna bağlı olarak, otokorelasyon size 'kısa vadede' temsili olmayan örnekler verir. Dahası, otokorelasyon ne kadar fazlaysa, 'kısa vadede' o kadar uzun olur. Çok güçlü otokorelasyon için kısa çalışma, toplam örneklerinizin iyi bir kısmı olabilir. Genel doğrudan çözümler, aksi takdirde zincirde otokorelasyon oluşturacağından ayrı olarak değil bloklar arasında karşılıklı olarak ilişkilendirilmesini beklediğiniz yeniden parametreleştirme veya örnekleme parametreleridir. Bunun altında yatan sorunun çözülmesinde ne kadar yararlı olduğu konusunda bazı tartışmalar olsa da, insanlar genellikle 'zayıflar', örneğin burada . Kass 1997 , konuların resmi olmayan bir tartışmasıdır, ancak muhtemelen başkalarının önerebileceği daha yeni bir şey vardır.

Kısacası, güçlü bir otokorelasyonlu zincirin başlangıç koşullarından istediğiniz hedef dağılıma ulaşması daha uzun sürerken, daha az bilgilendirici olmak ve o dağılımı oraya ulaştığında keşfetmek daha uzun sürer.

— conjugateprior
kaynak