Bayes faktörünü güncelleme

Bayes faktörü Bayesian hipotez testinde ve Bayes modeli seçiminde iki marjinal olasılığa göre tanımlanmıştır: iid örneği verildi $(x_1,\ldots,x_n)$ ve ilgili örnekleme yoğunlukları $f_1(x|\theta)$ ve $f_2(x|\eta)$ , karşılık gelen önceliklerle $\pi_1$ ve $\pi_2$ , iki modeli karşılaştırmak için Bayes faktörü

B_{12} (x_{1}, \dots, x_{n}) \overset{def}{=} \frac{m_{1} (x_{1}, \dots, x_{n})}{m_{2} (x_{1}, \dots, x_{n})} \overset{def}{=} \frac{\int \prod_{i = 1}^{n} f_{1} (x_{i} | θ) π_{1} (d θ)}{\int \prod_{i = 1}^{n} f_{2} (x_{i} | η) π_{2} (d η)}

$\mathfrak{B}_{12}(x_1,\ldots,x_n)\stackrel{\text{def}}{=}\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}\stackrel{\text{def}}{=}\frac{\int \prod_{i=1}^n f_1(x_i|\theta)\pi_1(\text{d}\theta)}{\int \prod_{i=1}^n f_2(x_i|\eta)\pi_2(\text{d}\eta)}$ Şu anda incelediğim bir kitapta yukarıdaki Bayes faktörünün

B_{12} (x_{1}, \dots, x_{n})

$\mathfrak{B}_{12}(x_1,\ldots,x_n)$ "bireysel faktörlerin [Bayes faktörleri] birlikte çoğaltılmasıyla oluşur" (s.118). Birisi ayrışma kullanırsa bu resmen doğrudur

\begin{aligned} B_{12} (x_{1}, \dots, x_{n}) & = \frac{m_{1} (x_{1}, \dots, x_{n})}{m_{2} (x_{1}, \dots, x_{n})} \\ = \frac{m_{1} (x_{n} | x_{1}, \dots, x_{n - 1})}{m_{2} (x_{n} | x_{1}, \dots, x_{n - 1})} \times \frac{m_{1} (x_{n - 1} | x_{n - 2}, \dots, x_{1})}{m_{2} (x_{n - 1} | x_{n - 2}, \dots, x_{1})} \times \dots \\ \dots \times \frac{m_{1} (x_{1})}{m_{2} (x_{1})} \end{aligned}

$\begin{align*}\mathfrak{B}_{12}(x_1,\ldots,x_n)&=\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}\\&=\frac{m_1(x_n|x_1,\ldots,x_{n-1})}{m_2(x_n|x_1,\ldots,x_{n-1})}\times \frac{m_1(x_{n-1}|x_{n-2},\ldots,x_1)}{m_2(x_{n-1}|x_{n-2},\ldots,x_1)}\times\cdots\\&\qquad\cdots\times\frac{m_1(x_1)}{m_2(x_1)}\end{align*}$ ama bu ayrıştırmada hesaplama avantajı,

\frac{m_{1} (x_{n} | x_{1}, \dots, x_{n - 1})}{m_{2} (x_{n} | x_{1}, \dots, x_{n - 1})}

$\frac{m_1(x_n|x_1,\ldots,x_{n-1})}{m_2(x_n|x_1,\ldots,x_{n-1})}$ orijinal hesaplama ile aynı hesaplama çabasını gerektirir

\frac{m_{1} (x_{1}, \dots, x_{n})}{m_{2} (x_{1}, \dots, x_{n})}

$\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}$ yapay oyuncak örnekleri dışında.

Soru: Bayes faktörünü güncellemenin genel ve hesaplama açısından verimli bir yolu var mı? $\mathfrak{B}_{12}(x_1,\ldots,x_n)$ için $\mathfrak{B}_{12}(x_1,\ldots,x_{n+1})$ tüm marjinallerin yeniden hesaplanmasını gerektirmeyen $m_1(x_1,\ldots,x_n)$ ve $m_2(x_1,\ldots,x_n)$ ?

Benim sezgim, aslında Bayes faktörlerini tahmin etmeye devam eden parçacık filtrelerinin yanı sıra $\mathfrak{B}_{12}(x_1,\ldots,x_n)$ her seferinde yeni bir gözlem, bu soruyu cevaplamanın doğal bir yolu yoktur.

— Xi'an
kaynak

Bana göre, ifadeler olduğu gibi, ifadenin mutlaka sıralı çarpanlara ayırması gerektiği açık değildir . Mezun olunan okulda, bir profesör ürünün olabilir Bayes analizleri ama garip bu (iğneleme) üzerine yakalamamıştı için asimptotik yaklaşımları kullanırlar. Belki de kitap buna işaret ediyor olabilir?

— Cliff AB

@CliffAB: Evet, olasılığı tekil terimlerin ortalaması olarak yeniden yazarak gerçek dağıtımdan Kullback-Leibler mesafesine dönüştürebilirsiniz. Ancak, kitap tüm seçenekleri açık tutacak kadar net olmasa da, durumun böyle olduğunu düşünmüyorum.

— Xi'an

Görüntülenen ikinci denklemde bir yazım hatası olduğuna inanıyorum:

m_{1} (x_{n - 1} | x_{n - 1}, \dots, x_{1})

$m_1(x_{n-1}|x_{n-1}, \ldots, x_1)$ ikinci satırda ikinci faktör?

— jochen

Muhtemelen Bayes faktörü için özyinelemeli bir denklemin amacı, Bayes faktörünü $n$ veri noktaları eklediğinizde, bunu tek bir ek veri noktasıyla güncelleyebilmek istersiniz. Posterior fonksiyonun formu olduğu sürece, önceki veri vektörünün marjinallerini yeniden hesaplamadan bunu yapmak mümkün görünmektedir. $\pi_n$ bilinen. Bu işlevin biçimini bildiğimizi varsayarsak (ve sorunuzda olduğu gibi IID verisi varsayarsak), tahmini yoğunluk şu şekilde yazılabilir:

\begin{aligned} m (x_{n + 1} | x_{1}, . . ., x_{n}) & = \int_{Θ} f (x_{n + 1} | θ) π_{n} (d θ | x_{1}, . . ., x_{n}) . \end{aligned}

$\begin{equation} \begin{aligned} m(x_{n+1} | x_1,...,x_n) &= \int \limits_\Theta f(x_{n+1}|\theta) \pi_n(d \theta | x_1,...,x_n). \\[6pt] \end{aligned} \end{equation}$

Bu nedenle, var:

\begin{aligned} m (x_{1}, . . ., x_{n + 1}) & = m (x_{1}, . . ., x_{n}) \int_{Θ} f (x_{n + 1} | θ) π_{n} (d θ | x_{1}, . . ., x_{n}) . \end{aligned}

$\begin{equation} \begin{aligned} m(x_1,...,x_{n+1}) &= m(x_1,...,x_n) \int \limits_\Theta f(x_{n+1}|\theta) \pi_n(d \theta | x_1,...,x_n). \\[6pt] \end{aligned} \end{equation}$

Bayes faktörü ile iki model sınıfını karşılaştırarak, tekrarlanan denklemi elde ederiz:

\begin{aligned} B_{12} (x_{1}, . . ., x_{n + 1}) & = B_{12} (x_{1}, . . ., x_{n}) \cdot \frac{\int_{Θ_{1}} f (x_{n + 1} | θ) π_{1, n} (d θ | x_{1}, . . ., x_{n})}{\int_{Θ_{2}} f (x_{n + 1} | θ) π_{2, n} (d θ | x_{1}, . . ., x_{n})} . \end{aligned}

$\begin{equation} \begin{aligned} \mathfrak{B}_{12}(x_1,...,x_{n+1}) &= \mathfrak{B}_{12}(x_1,...,x_{n}) \cdot \frac{\int _{\Theta_1} f(x_{n+1}|\theta) \pi_{1,n}(d \theta | x_1,...,x_n)}{\int _{\Theta_2} f(x_{n+1}|\theta) \pi_{2,n}(d \theta | x_1,...,x_n)}. \\[6pt] \end{aligned} \end{equation}$

Bu yine de parametre aralığı üzerinden entegrasyonu içerir, bu nedenle Bayes faktörünü verdiğiniz ilk formülle sadece yeniden hesaplama konusunda herhangi bir hesaplama avantajı olmadığı görüşüne katılıyorum. Bununla birlikte, bunun önceki veri vektörü için marjinalleri yeniden hesaplamanızı gerektirmediğini görebilirsiniz. (Bunun yerine, yeni veri noktasının tahmin yoğunluklarını, model sınıflarının her biri altında önceki verilere bağlı olarak hesaplıyoruz.) Sizin gibi, bu integral formülün kolayca basitleşmediği sürece bunun herhangi bir hesaplama avantajını görmüyorum. Her durumda, Bayes faktörünü güncellemek için size başka bir formül verdiğini düşünüyorum.

— Ben - Monica'yı eski durumuna döndür
kaynak

Teşekkür ederim. Marjinallerin yeniden hesaplanması gerekmediği doğrudur, stricto sensu , ancak belirttiğiniz gibi hesaplama miktarı aynı gibi görünüyor.

— Xi'an

Aklıma gelen tek avantaj şu ki, artık sadece tek bir yoğunluk (

n

$n$ yoğunluklar), integral daha az uçucu olacaktır ve bu nedenle bu son formül hesaplamada alt akış problemlerinden kaçınmayı kolaylaştırabilir. Bu belki de büyük bir şey.

— Ben - Monica