Normal ve Binom modellerinde, posterior varyans her zaman önceki varyanstan daha az mıdır?

10

Veya hangi koşullar bunu garanti eder? Genel olarak (ve sadece normal ve binom modelleri değil), bu iddiayı bozan temel nedenin, örnekleme modeli ile önceki model arasında tutarsızlık olduğunu varsayıyorum, ama başka ne var? Bu konuyla başlıyorum, bu yüzden kolay örnekleri gerçekten takdir ediyorum

bayesian variance information-theory

— Kırmızı burun
kaynak

9

üzerindeki posterior ve önceki varyanslar ( numuneyi göstermesiyle birlikte) karşılandığından tüm miktarların var olduğunu varsayarsak, posterior varyansın ortalama olarak daha küçük olmasını bekleyebilirsiniz ( ). Bu, özellikle posterior varyansın sabit olduğu durumdur . Ancak, diğer cevapta gösterildiği gibi, posterior varyansın daha büyük olduğu farkları olabilir, çünkü sonuç sadece beklentide bulunur. $\theta$ $X$

var (θ) = E [var (θ | X)] + var (E [θ | X])

$\text{var}(\theta) = \mathbb{E}[\text{var}(\theta|X)]+\text{var}(\mathbb{E}[\theta|X])$

X

$X$

X

$X$

Andrew Gelman'dan alıntı yapmak için,

Bunu Bayesian Veri Analizi bölüm 2'de ele alıyoruz , sanırım birkaç ödev probleminde. Kısa cevap, beklenti içinde, daha fazla bilgi edindikçe posterior varyansın azalmasıdır, ancak modele bağlı olarak, özellikle durumlarda varyans artabilir. Normal ve binom gibi bazı modeller için posterior varyans sadece azalabilir. Ancak düşük serbestlik derecesine sahip t modelini düşünün (normalin ortak ortalama ve farklı varyanslarla bir karışımı olarak yorumlanabilir). aşırı bir değer gözlemlerseniz, bu varyansın yüksek olduğunun kanıtıdır ve aslında arka varyansınız yükselebilir.

— Xi'an
kaynak

@Xian, seninkine aykırı görünen "cevabım" a bakabilir misin? Gelman ve siz Bayes istatistikleri hakkında bir şeyler söylerseniz, size kendimden daha çok güvenmeye meyilliyim ...

— Christoph Hanck

1

Cevaplarımız arasında çatışma yok. BDA'da örneğinize karşılık gelen bir alıştırma bile vardır , yani Beta posterior varyansını önceki varyanstan daha büyük olacak şekilde ayarlayan verileri bulun.

— Xi'an

İlginç bir takip sorusu şudur: örneklem büyüklüğü arttıkça varyansın 0'a yakınlaşmasını garanti eden koşullar nelerdir.

— Julien

8

Bu @ Xi'an için bir cevaptan çok bir soru olacak.

Posterior varyans ile denemelerinin sayısı, başarıların sayısını ve önceki beta katsayıları, önceden varyans aşan , aşağıdaki örneğe dayalı olarak binom modelinde de mümkündür; daha önce, "arkalar arasında çok uzak" olması için keskin bir kontrast söz konusudur. Gelman'ın sözüyle çelişiyor gibi görünüyor.

V (θ | y) = \frac{α_{1} β_{1}}{(α_{1} + β_{1})^{2} (α_{1} + β_{1} + 1)} = \frac{(α_{0} + k) (n - k + β_{0})}{(α_{0} + n + β_{0})^{2} (α_{0} + n + β_{0} + 1)},

$V(\theta|y)=\frac{\alpha_{1}\beta_1}{(\alpha_{1}+\beta_1)^2(\alpha_{1}+\beta_1+1)}=\frac{(\alpha _{0}+k)(n-k+\beta_{0})}{(\alpha_{0}+n+\beta_0)^2(\alpha_{0}+n+\beta_0+1)},$

n

$n$

k

$k$

α_{0}, β_{0}

$\alpha_{0},\beta_0$

V (θ) = \frac{α_{0} β_{0}}{(α_{0} + β_{0})^{2} (α_{0} + β_{0} + 1)}

$V(\theta)=\frac{\alpha_{0}\beta_0}{(\alpha_{0}+\beta_0)^2(\alpha_{0}+\beta_0+1)}$

n <- 10         
k <- 1
alpha0 <- 100
beta0 <- 20

theta <- seq(0.01,0.99,by=0.005)
likelihood <- theta^k*(1-theta)^(n-k) 
prior <- function(theta,alpha0,beta0) return(dbeta(theta,alpha0,beta0))
posterior <- dbeta(theta,alpha0+k,beta0+n-k)

plot(theta,likelihood,type="l",ylab="density",col="lightblue",lwd=2)

likelihood_scaled <- dbeta(theta,k+1,n-k+1)
plot(theta,likelihood_scaled,type="l",ylim=c(0,max(c(likelihood_scaled,posterior,prior(theta,alpha0,beta0)))),ylab="density",col="lightblue",lwd=2)
lines(theta,prior(theta,alpha0,beta0),lty=2,col="gold",lwd=2)
lines(theta,posterior,lty=3,col="darkgreen",lwd=2)
legend("top",c("Likelihood","Prior","Posterior"),lty=c(1,2,3),lwd=2,col=c("lightblue","gold","darkgreen"))

 > (postvariance <- (alpha0+k)*(n-k+beta0)/((alpha0+n+beta0)^2*(alpha0+n+beta0+1)))
[1] 0.001323005
> (priorvariance <- (alpha0*beta0)/((alpha0+beta0)^2*(alpha0+beta0+1)))
[1] 0.001147842

Bu nedenle, bu örnek binom modelinde daha büyük bir posterior varyans önermektedir.

Tabii ki, bu beklenen posterior varyans değil. Tutarsızlığın olduğu yer burası mı?

Karşılık gelen rakam

— Christoph Hanck
kaynak

4

Mükemmel illüstrasyon. Ve gerçekleşen posterior varyansın önceki varyanstan daha büyük olduğu ve beklentinin daha küçük olduğu gerçeği arasında bir tutarsızlık yoktur.

— Xi'an

1

Burada da tartışılanın mükemmel bir örneği olarak bu cevaba bir bağlantı sağladım.Bu sonuç (varyans bazen veri toplandıkça artar) entropiye kadar uzanır.

— Don Slowik