Bayes lineer regresyonunda posterior prediktif dağılımın değerlendirilmesi

10

Bayes lineer regresyon için posterior doğrusal regresyonun nasıl değerlendirileceği konusunda kafam karıştı, burada sayfa 3'te açıklanan ve aşağıda kopyalanan temel vakayı geçti .

p (\tilde{y} | y) = \int p (\tilde{y} | β, σ^{2}) p (β, σ^{2} | y)

$p(\tilde y \mid y) = \int p(\tilde y \mid \beta, \sigma^2) p(\beta, \sigma^2 \mid y)$

Temel durum bu doğrusal regresyon modelidir:

y = X β + ε, y ~ N- (X β, σ^{2})

$y = X \beta + \epsilon, \hspace{10mm} y \sim N(X \beta, \sigma^2)$

Beta'dan önce tekdüze , önce bir Inv- ölçeği ile VEYA daha önce normal-ters-gamma ( buraya bakın ) kullanırsak, posterior prediktif dağılım analitiktir ve öğrenci t'dir. $\beta$ $\chi^2$ $\sigma^2$

Bu modele ne dersiniz?

y = X β + ε, y ~ N- (X β, Σ)

$y = X \beta + \epsilon, \hspace{10mm} y \sim N(X \beta, \Sigma)$

Tüm ancak bilinmektedir posterior prediktif dağılımı çok değişkenli Gaussian'dır. Genellikle bilmiyorsunuz , ancak tahmin etmek zorundasınız. Belki köşegen olduğunu söyler ve köşegenleri bir şekilde ortak değişkenlerin bir işlevi haline getirirsiniz. Bu, Gelman'ın Bayesci Veri Analizinin doğrusal regresyon bölümünde tartışılmaktadır . $y \sim N(X\beta, \Sigma)$ $\Sigma$ $\Sigma$

Bu durumda posterior prediktif dağılım için analitik bir form var mı? Tahminimi çok değişkenli bir öğrenciye ekleyebilir miyim? Birden fazla varyans tahmin ederseniz, dağıtım hala çok değişkenli t öğrenci var mı?

Biraz alabilir demek Soruyorum çünkü yandan zaten. Örneğin doğrusal regresyon A, doğrusal regresyon B ile tahmin edilip edilmeyeceğini bilmek istiyorum. $\tilde y$

— bill_e
kaynak

1

Posterior dağılımdan posterior örnekleriniz varsa, Monte Carlo yaklaşımı ile kestirimci dağılımı değerlendirebilirsiniz

— niandra82

Ah teşekkürler, bunu her zaman yapabilirim. Bu durumda analitik formül yok mu?

— bill_e

Bu arada bağlantılar koptu. Referansları başka bir şekilde birleştirmek harika olurdu.

— Maxim.K

6

Eğer bir üniforma önce kabul edersek , daha sonra da arka olan ile Tahmini dağıtımı bulmak için daha fazla bilgiye ihtiyacımız var. Eğer ve şartlı bağımsız verilen , o Ancak tipik olarak bu tür modeller için, ve şartlı olarak bağımsız değildir, bunun yerine $\beta$ $\beta$

β | y ~ N- (\hat{β}, V_{β}) .

$\beta|y \sim N(\hat{\beta},V_\beta).$

\hat{β} = [X^{'} Σ^{- 1} X] X^{'} y ve V_{β} = [X^{'} Σ^{- 1} X]^{- 1} .

$\hat{\beta} = [X'\Sigma^{-1}X]X'y \quad \mbox{and} \quad V_\beta =[X'\Sigma^{-1}X]^{-1}.$

\tilde{y} \sim N (\tilde{X} β, \tilde{Σ})

$\tilde{y} \sim N(\tilde{X}\beta,\tilde{\Sigma})$

y

$y$

β

$\beta$

\tilde{y} | y ~ N- (\tilde{X} \hat{β}, \tilde{Σ} + V_{β}) .

$\tilde{y}|y \sim N(\tilde{X}\hat{\beta}, \tilde{\Sigma} + V_\beta).$

y

$y$

\tilde{y}

$\tilde{y}$

(\begin{matrix} y \\ \tilde{y} \end{matrix}) ~ N- ([\begin{matrix} X β \\ \tilde{X} β \end{matrix}], [\begin{array}{cc} Σ & Σ_{12} \\ Σ_{21} & \tilde{Σ} \end{array}]) .

$\left( \begin{array}{c} y \\ \tilde{y} \end{array} \right) \sim N\left( \left[\begin{array}{c} X\beta \\ \tilde{X}\beta \end{array}\right], \left[ \begin{array}{cc} \Sigma & \Sigma_{12} \\ \Sigma_{21} & \tilde{\Sigma} \end{array} \right]\right).$ Böyle bir durumda, Bu ve varsayar . Belirttiğiniz gibi, genellikle bilinmezler ve tahmin edilmeleri gerekir. Bu yapıya sahip olan ortak modeller, örneğin zaman serileri ve uzamsal modeller için, tahmini dağıtım için genellikle kapalı bir form olmayacaktır.

\tilde{y} | y ~ N- (\tilde{X} \hat{β} + Σ_{21} Σ^{- 1} (y - X \hat{β}), \tilde{Σ} - Σ_{21} Σ^{- 1} Σ_{12}) .

$\tilde{y}|y \sim N(\tilde{X}\hat{\beta} + \Sigma_{21}\Sigma^{-1}(y-X\hat{\beta}), \tilde{\Sigma} - \Sigma_{21}\Sigma^{-1}\Sigma_{12}).$

Σ, Σ_{12},

$\Sigma, \Sigma_{12},$

\tilde{Σ}

$\tilde{\Sigma}$

— jaradniemi
kaynak

2

Bilgilendirici olmayan veya çok değişkenli Normal-Wishart öncelikleri altında, klasik çok değişkenli çoklu regresyon için çok değişkenli bir Öğrenci dağılımı olarak analitik forma sahipsiniz. Sanırım bu belgedeki gelişmeler sorunuzla ilgili (Ek A :-) gibi olabilir). Sonuçları tipik olarak WinBUGS ve analitik form kullanılarak elde edilen posterior bir prediktif dağılım ile karşılaştırdım: tam olarak eşdeğerler. Sorun yalnızca karışık efektli modellerde, özellikle dengesiz tasarımlarda, rastgele ek efektler olduğunda zorlaşır.

Genel olarak, klasik regresyonlarda, y ve ỹ şartlı olarak bağımsızdır (artıklar bulunur)! Tabii ki durum böyle değilse, burada önerilen çözüm doğru değildir.

R'de (burada, muntazam öncelikler için çözüm), modelinizdeki yanıtlardan birinin bir lm modelini ("model" olarak adlandırılır) yaptığınızı ve buna "model" adını verdiğinizi varsayarsak, çok değişkenli tahmin dağıtımını nasıl elde edeceğiniz aşağıda açıklanmıştır

library(mvtnorm)
Y = as.matrix(datas[,c("resp1","resp2","resp3")])
X =  model.matrix(delete.response(terms(model)), 
           data, model$contrasts)
XprimeX  = t(X) %*% X
XprimeXinv = solve(xprimex)
hatB =  xprimexinv %*% t(X) %*% Y
A = t(Y - X%*%hatB)%*% (Y-X%*%hatB)
F = ncol(X)
M = ncol(Y)
N = nrow(Y)
nu= N-(M+F)+1 #nu must be positive
C_1 =  c(1  + x0 %*% xprimexinv %*% t(x0)) #for a prediction of the factor setting x0 (a vector of size F=ncol(X))
varY = A/(nu) 
postmean = x0 %*% hatB
nsim = 2000
ysim = rmvt(n=nsim,delta=postmux0,C_1*varY,df=nu)

Şimdi, ysim miktarları tahmini dağıtımdan beta-beklentisi tolerans aralıklarıdır, elbette istediğiniz her şeyi yapmak için doğrudan örneklenmiş dağıtımı kullanabilirsiniz.

— Pierre Lebrun
kaynak