Bayesian güncellemesi yeni verilerle

17

N veri noktasını gözlemledikten sonra önceki bir N ~ (a, b) ile bir posteriorun nasıl hesaplanacağı hakkında? Veri noktalarının örnek ortalamasını ve varyansını hesaplamamız ve posterioru öncekiyle birleştiren bir tür hesaplama yapmamız gerektiğini varsayıyorum, ancak kombinasyon formülünün neye benzediğinden emin değilim.

bayesian normal-distribution conjugate-prior

— statstudent
kaynak

23

Bayes güncellenmesi temel fikri o bazı veriler verilir $X$ ve önceki faiz aşırı parametresini $\theta$ veri ve parametre arasındaki ilişki kullanılarak tarif edilir, olabilirlik fonksiyonu, sen teoremi posterior elde etmek Bayes kullanmak

p (θ ∣ X) \propto p (X ∣ θ) p (θ)

$p(\theta \mid X) \propto p(X \mid \theta) \, p(\theta)$

Bu ilk veri noktasını gördükten sonra nerede, sırayla yapılabilir öncesinde güncellendi hale arka ikinci bir veri noktası alabilir yanındaki ve kullanılmasını arka önce elde da olduğu gibi önce bir kez daha vb güncellemek için, $x_1$ $\theta$ $\theta'$ $x_2$ $\theta'$

Sana bir örnek vereyim. Eğer ortalama tahmin etmek istediğinizi düşünün normal dağılımın ve size bilinir. Bu durumda normal-normal modeli kullanabiliriz. hiperparametreli için normal olduğunu varsayıyoruz $\mu$ $\sigma^2$ $\mu$ $\mu_0,\sigma_0^2:$

\begin{aligned} X ∣ μ & \sim N o r m a l (μ, σ^{2}) \\ μ & \sim N o r m a l (μ_{0}, σ_{0}^{2}) \end{aligned}

$\begin{align} X\mid\mu &\sim \mathrm{Normal}(\mu,\ \sigma^2) \\ \mu &\sim \mathrm{Normal}(\mu_0,\ \sigma_0^2) \end{align}$

Normal dağılım bir olduğu konjügat önce için normal dağılımın, önceden güncellemek için kapalı form çözümü vardır $\mu$

\begin{aligned} E (μ^{'} ∣ x) & = \frac{σ^{2} μ + σ_{0}^{2} x}{σ^{2} + σ_{0}^{2}} \\ V a r (μ^{'} ∣ x) & = \frac{σ^{2} σ_{0}^{2}}{σ^{2} + σ_{0}^{2}} \end{aligned}

$\begin{align} E(\mu' \mid x) &= \frac{\sigma^2\mu + \sigma^2_0 x}{\sigma^2 + \sigma^2_0} \\[7pt] \mathrm{Var}(\mu' \mid x) &= \frac{\sigma^2 \sigma^2_0}{\sigma^2 + \sigma^2_0} \end{align}$

Ne yazık ki, bu tür basit kapalı form çözümleri daha karmaşık sorunlar için mevcut değildir ve optimizasyon algoritmalarına ( maksimum posteriori yaklaşım kullanan nokta tahminleri için ) veya MCMC simülasyonuna güvenmeniz gerekir .

Aşağıda veri örneğini görebilirsiniz:

n <- 1000
set.seed(123)
x     <- rnorm(n, 1.4, 2.7)
mu    <- numeric(n)
sigma <- numeric(n)

mu[1]    <- (10000*x[i] + (2.7^2)*0)/(10000+2.7^2)
sigma[1] <- (10000*2.7^2)/(10000+2.7^2)
for (i in 2:n) {
  mu[i]    <- ( sigma[i-1]*x[i] + (2.7^2)*mu[i-1] )/(sigma[i-1]+2.7^2)
  sigma[i] <- ( sigma[i-1]*2.7^2                  )/(sigma[i-1]+2.7^2)
}

Sonuçları çizerseniz, yeni veriler biriktikçe posteriorun tahmini değere nasıl yaklaştığını (gerçek değer kırmızı çizgi ile işaretlenir) görürsünüz .

Daha fazla bilgi edinmek için Kevin P. Murphy'nin bu slaytları ve Gaussian dağıtım belgesinin Eşlenik Bayes analizini kontrol edebilirsiniz . Kontrol edin Bayesian öncelikleri büyük örneklem büyüklüğü ile ilgisiz mi? Ayrıca Bayesian çıkarımına erişilebilir adım adım giriş için bu notları ve bu blog girişini kontrol edebilirsiniz .

— Tim
kaynak

Teşekkür ederim, bu çok faydalı. Bu basit örneği nasıl çözeceğiz (örneğinizin aksine bilinmeyen varyans)? Önceden N ~ (5, 4) dağılımına sahip olduğumuzu ve sonra 5 veri noktası gözlemlediğimizi varsayalım (8, 9, 10, 8, 7). Bu gözlemlerden sonra posterior ne olurdu? Şimdiden teşekkür ederim. Çok takdir etmek.

— statstudent

@Kelly, varyansın bilinmediği ve ortalama olarak bilindiği veya her ikisinin de bilinmeyen konjugat öncelikleri hakkındaki Wikipedia girişinde ve cevabımın sonunda verdiğim bağlantılarda örnekler bulabilirsiniz. Hem ortalama hem de varyans bilinmiyorsa, biraz daha karmaşık hale gelir.

— Tim

μ

$\mu$

σ^{2}

$\sigma^2$

4

$P(\theta)$ $P(x \mid \theta)$

P (θ ∣ x) = \frac{\sum_{θ} P (x ∣ θ) P (θ)}{P (x)}

$P(\theta \mid x) = \frac{\sum_\theta P(x \mid \theta) P(\theta)}{P(x)}$

$P(x)$

P (θ ∣ x) \sim \sum_{θ} P (x ∣ θ) P (θ)

$P(\theta \mid x) \sim \sum_\theta P(x \mid \theta)P(\theta)$

$\sim$

Konjugat öncelikleri vakası (sıklıkla güzel kapalı formüller elde ettiğinizde)

$\boldsymbol{\theta}$ $P(\boldsymbol{\theta})$ $P(\mathbf{x} \mid \boldsymbol{\theta})$ $P(\boldsymbol{\theta})$ $P(\boldsymbol{\theta} \mid \mathbf{x})$

Konjugat dağılımları tablosu bazı sezgilerin oluşturulmasına yardımcı olabilir (ve kendi başınıza çalışmak için bazı öğretici örnekler verebilir).

— Matthew Gunn
kaynak

1

Bu Bayesci veri analizi için merkezi hesaplama konusudur. Bu gerçekten ilgili verilere ve dağıtımlara bağlıdır. Her şeyin kapalı formda ifade edilebileceği basit durumlar için (örneğin, konjugat öncelikleriyle) Bayes teoremini doğrudan kullanabilirsiniz. Daha karmaşık vakalar için en popüler teknik ailesi Markov zinciri Monte Carlo'dur. Ayrıntılar için Bayesian veri analizi ile ilgili giriş kitapçığına bakınız.

— Kodiologist
kaynak

Çok teşekkür ederim! Bu gerçekten aptalca bir takip sorusu ise, ama bahsettiğiniz basit durumlarda, Bayes teoremini doğrudan nasıl kullanırız? Örnek ortalamaların yarattığı dağılım ve veri noktalarının varyansı olabilirlik fonksiyonu olur mu? Çok teşekkür ederim.

— statstudent

@Kelly Yine, dağılıma bağlıdır. Bkz. Örneğin en.wikipedia.org/wiki/Conjugate_prior#Example . (Sorunuzu cevapladıysam, oylama oklarının altındaki onay işaretine tıklayarak cevabımı kabul etmeyi unutmayın.)

— Kodiologist