Bayes Tahmin Tahminlerini Anlama

9

Bayes'e Giriş kursuna katılıyorum ve tahmine dayalı dağılımları anlamakta zorluk çekiyorum. Neden faydalı olduklarını anlıyorum ve tanıma aşinayım, ama tam olarak anlamadığım bazı şeyler var.

1) Yeni gözlemlerin bir vektörü için doğru tahmini dağıtım nasıl elde edilir

bir örnekleme modeli ve önceki bir varsayalım . Gözlemler varsayın verilen şartlı bağımsızdır . $p(y_i | \theta)$ $p(\theta)$ $y_i$ $\theta$

verilerini gözlemledik ve önceki posterior . $\mathcal{D} = \{y_1, y_2, \, ... \, , y_k\}$ $p(\theta)$ $p(\theta | \mathcal{D})$

Yeni gözlemlerin bir vektörünü tahmin etmek istersek , ben bu formülü eşit değildir ki yani öngörülen gözlemler bağımsız değil, değil mi? $\mathcal{N} = \{\tilde{y}_1, \tilde{y}_2, \, ... \, , \tilde{y}_n\}$

p (N | D) = \int p (θ | D) p (N | θ) d θ = \int p (θ | D) \prod_{i = 1}^{n} p ({\tilde{y}}_{i} | θ) d θ,

$p(\mathcal{N} | \mathcal{D}) = \int p(\theta | \mathcal{D}) p ( \mathcal{N} | \theta) \, \mathrm{d} \theta = \int p(\theta | \mathcal{D}) \prod_{i=1}^n p(\tilde{y}_i | \theta) \, \mathrm{d} \theta,$

\prod_{i = 1}^{n} \int p (θ | D) p ({\tilde{y}}_{i} | θ) d θ,

$\prod_{i=1}^n \int p(\theta | \mathcal{D}) p(\tilde{y}_i | \theta) \, \mathrm{d} \theta,$

Bunu söyle Sabit bir için Beta ( ) ve Binom ( ) . Bu durumda, 6 yeni benzetmek istersem, bunu doğru anlarsam, tek bir gözlem için posterior öngörüye karşılık gelen Beta-Binom dağılımından bağımsız olarak 6 çekilişi simüle etmek yanlış olur. Bu doğru mu? Gözlemlerin marjinal olarak bağımsız olmadığını nasıl yorumlayacağımı bilmiyorum ve bunu doğru anladığımdan emin değilim. $\theta | \mathcal{D} \sim$ $a,b$ $p(y_i | \theta) \sim$ $n, \theta$ $n$ $\tilde{y}$

Posterior öngörülerden simülasyon

Çoğu zaman posterior öngörücüden veri simülasyonu yaptığımızda bu şemayı takip ederiz:

İçin 1 ila : $b$ $B$

1) den . $\theta^{(b)}$ $p(\theta | \mathcal{D})$

2) Daha sonra den yeni verileri . $\mathcal{N}^{(b)}$ $p(\mathcal{N} | \theta^{(b)})$

Sezgisel görünse de, bu şemanın nasıl çalıştığını kanıtlamayı pek bilmiyorum. Ayrıca, bunun bir adı var mı? Bir gerekçe aramaya çalıştım ve farklı isimler denedim ama şansım yoktu.

Teşekkürler!

bayesian prediction

— Fred L.
kaynak

Stats.stackexchange.com/questions/72570/… ' da benzer bir soru sordum ama sizinki şu ana kadar daha fazla oy aldı gibi görünüyor.

— John

4

Diyelim ki , olduğu göz önüne alındığında koşullu olarak bağımsızdır . Ardından, ki burada ilk eşitlik toplam olasılık yasasından, ikincisi ürün kuralından ve üçüncüsü varsayılan koşullu bağımsızlıktan gelir: $X_1,\dots,X_n,X_{n+1}$ $\Theta=\theta$

f_{X_{n + 1} ∣ X_{1}, \dots, X_{n}} (x_{n + 1} ∣ x_{1}, \dots, x_{n}) = \int f_{X_{n + 1}, Θ ∣ X_{1}, \dots, X_{n}} (x_{n + 1}, θ ∣ x_{1}, \dots, x_{n}) d θ

$f_{X_{n+1}\mid X_1,\dots,X_n}(x_{n+1}\mid x_1,\dots,x_n) = \int f_{X_{n+1},\Theta\mid X_1,\dots,X_n}(x_{n+1},\theta\mid x_1,\dots,x_n)\,d\theta$

= \int f_{X_{n + 1} ∣ Θ, X_{1}, \dots, X_{n}} (x_{n + 1} ∣ θ, x_{1}, \dots, x_{n}) f_{Θ ∣ X_{1}, \dots, X_{n}} (θ ∣ x_{1}, \dots, x_{n}) d θ

$= \int f_{X_{n+1}\mid\Theta,X_1,\dots,X_n}(x_{n+1}\mid\theta,x_1,\dots,x_n) f_{\Theta\mid X_1,\dots,X_n}(\theta\mid x_1,\dots,x_n) \, d\theta$

= \int f_{X_{n + 1} ∣ Θ} (x_{n + 1} ∣ θ) f_{Θ ∣ X_{1}, \dots, X_{n}} (θ ∣ x_{1}, \dots, x_{n}) d θ,

$= \int f_{X_{n+1}\mid\Theta}(x_{n+1}\mid\theta) f_{\Theta\mid X_1,\dots,X_n}(\theta\mid x_1,\dots,x_n) \, d\theta \, ,$

Θ

$\Theta$ , dağılımını belirlemek için değerlerine ihtiyacımız yok .

X_{1}, \dots, X_{n}

$X_1,\dots,X_n$

X_{n + 1}

$X_{n+1}$

İçin: simülasyon programı doğru , çizmek dağılımından , o zaman çekme dağıtımından . Bu size dağılımından size örneği verir. . $i=1,\dots,N$ $\theta^{(i)}$ $\Theta\mid X_1=x_1,\dots,X_n=x_n$ $x_{n+1}^{(i)}$ $X_{n+1}\mid\Theta=\theta^{(i)}$ $\{x_{n+1}^{(i)}\}_{i=1}^N$ $X_{n+1}\mid X_1=x_1,\dots,X_n=x_n$

— Zen
kaynak

Eğer posterior kestirimi birden fazla dönemde alıyorsanız ne olacak? Ben kullanıyorum her biri için , ama yeni bir teta yeniden çizmek için mantıklı olabilir neden görebilirsiniz.

θ^{(i)}

$\theta^{\left(i\right)}$

x_{n + j}

$x_{n+j}$

— John

2

Adım adım öngörülü dağılım üretmenin arkasındaki sezgiyi gözden geçirmeye çalışacağım.

Let bir olasılık dağılımı gelen gözlenen verilerin bir vektör olmak ve let geleceğin bir vektör olmak (veya dışı numunesi) biz tahmin etmek istiyoruz değer verir. Biz varsayalım aynı dağıtım gelen . Bu dağıtım hakkında bilgi almak için --- gibi MLE veya MAP tahmini --- en iyi tahminimizi kullanmak cazip olabilir . Ancak, bunu yapmak kaçınılmaz olarak hakkındaki belirsizliğimizi görmezden gelecektir . Bu nedenle, PROCEDE uygun bir şekilde arka dağılımı üzerindeki ortalama etmektir , yani . Dikkat edin $y$ $p(y|\theta)$ $\tilde y$ $\tilde y$ $y$ $\theta$ $\theta$ $\theta$ $p(\theta|y)$ $\tilde y$ bağımsız verilen aynı dağıtım çekilen bağımsız bir numune olduğu varsayılmaktadır, . Böylece, $y$ $\theta$ $y$

p (\tilde{y} | θ, y) = \frac{p (\tilde{y}, y | θ) p (θ)}{p (θ, y)} = \frac{p (\tilde{y} | θ) p (y | θ) p (θ)}{p (y | θ) p (θ)} = p (\tilde{y} | θ) .

$\displaystyle p(\tilde y| \theta, y) = \frac{p(\tilde y, y|\theta )p(\theta)}{p(\theta, y)} = \frac{p(\tilde y|\theta )p(y |\theta) p(\theta)}{p(y| \theta)p(\theta)} = p(\tilde y |\theta).$

arka kestirimci dağılımı , $\tilde y$

p (\tilde{y} | y) = \int_{Θ} p (\tilde{y} | θ, y) p (θ | y) d θ = \int_{Θ} p (\tilde{y} | θ) p (θ | y) d θ

nerede desteğidir . $\Theta$ $\theta$

Şimdi, örnekleri den nasıl elde edebiliriz ? Açıkladığınız yönteme bazen aşağıdaki gibi çalışan kompozisyon yöntemi denir : $p(\tilde y|y)$

s = 1,2, ..., S için

'yi dan çizin $\theta^{(s)}$ $p(\theta|y)$

çizmek den $\tilde y^{(s)}$ $p(\tilde y|\theta^{(s)})$

Burada, çoğu durumda, zaten den çekimlerimiz vardır , böylece sadece ikinci adım gereklidir. $p(\theta|y)$

Bunun çalışmasının nedeni oldukça basit: İlk önce olduğuna dikkat edin . Bu nedenle, örnekleme bir parametre vektörü den ve daha sonra, örnek, bu vektör kullanılarak gelen eklem dağılımından örnekler verir . Bundan sonra, örneklenen değerler , marjinal dağılımdan örneklerdir . $p(\tilde y, \theta | y) = p(\tilde y| \theta, y)p(\theta | y)$ $\theta^{(s)}$ $p(\theta|y)$ $\tilde y^{(s)}$ $p(\tilde y | \theta^{(s)}) = p(\tilde y | \theta^{(s)}, y)$ $p(\tilde y, \theta|y)$ $\tilde y^{(s)}, s=1,2,...,S$ $p(\tilde y|y)$

— baruuum
kaynak

1

İlk sorunuza cevap vermek için: evet, değerini bilmiyorsanız gözlemler bağımsız değildir . Diyelim ki, oldukça aşırı bir değeri olduğunu gözlemlediniz . bilinmeyen değerinin aşırı olduğunun bir göstergesi olabilir ve bu nedenle diğer gözlemlerin de aşırı olmasını beklemelisiniz. $\theta$ $\tilde{y}_1$ $\theta$

— hr0nix
kaynak