Bir makalede Gauss Süreci Regresyon denklemlerinin türetilmesine dair şüpheler

Bu ödev baskısını okuyorum ve Gauss Süreci Regresyonu için denklemleri elde ettiklerinde zorlanıyorum. Rasmussen & Williams ayarı ve gösterimini kullanırlar . Bu nedenle, toplam, sıfır ortalama, durağan ve normal olarak dağıtılmış gürültü varyans kabul edilir: $\sigma^2_{noise}$

y = f (x) + ε, ε ~ N- (0, σ_{n Ö ben s e}^{2})

$y=f(\mathbf{x})+\epsilon, \quad \epsilon\sim N(0,\sigma^2_{noise})$

ortalamasından önceki GP'nin için olduğu varsayılır , yani , ortalama 0 ve kovaryans matrisi olan bir Gauss vektörüdür $f(\mathbf{x})$ $\forall \ d\in N$ $\mathbf{f}=\{f(\mathbf{x_1}),\dots,f(\mathbf{x_d})\}$

Σ_{d} = (\begin{matrix} k (x_{1}, x_{1}) & k (x_{1}, x_{d}) \\ ⋱ \\ k (x_{d}, x_{1}) & k (x_{d}, x_{d}) \end{matrix})

$\Sigma_d=\pmatrix{k(\mathbf{x_1},\mathbf{x_1})& & k(\mathbf{x_1},\mathbf{x_d}) \\ & \ddots & \\k(\mathbf{x_d},\mathbf{x_1})& & k(\mathbf{x_d},\mathbf{x_d}) }$

Şu andan itibaren hiperparametrelerin bilindiğini varsayıyoruz. Sonra makalenin Denk. (4) açıktır:

p (f, f^{*}) = N- (0, (\begin{matrix} K_{f, f} & K_{f^{*}, f} \\ K_{f^{*}, f} & K_{f^{*}, f^{*}} \end{matrix}))

$p(\mathbf{f},\mathbf{f^*})=N\left(0,\pmatrix { K_{\mathbf{f},\mathbf{f}} & K_{\mathbf{f^*},\mathbf{f}} \\K_{\mathbf{f^*},\mathbf{f}} & K_{\mathbf{f^*},\mathbf{f^*}}} \right)$

İşte şüpheler:

Denklem (5):

$p (y | f) = N- (f, σ_{n Ö ben s e}^{2} ben)$ $p(\mathbf{y}|\mathbf{f})=N\left(\mathbf{f},\sigma^2_{noise}I \right)$
$E[\mathbf{f}]=0$ , ama tahmin çünkü ilgili durum , daha sonra burada sabit bir vektördür ve yalnızca rastgeletir. Doğru? $E[\mathbf{y}|\mathbf{f}]=\mathbf{f}\neq0$ $\mathbf{f}$ $\mathbf{y}=\mathbf{c}+\boldsymbol{\epsilon}$ $\mathbf{c}$ $\boldsymbol{\epsilon}$
Her neyse, bu benim için daha belirsiz olan Denklem (6):

$p (f, f^{*} | y) = \frac{p (f, f^{*}) p (y | f)}{p (y)}$ $p(\mathbf{f},\mathbf{f^*}|\mathbf{y})=\frac{p(\mathbf{f},\mathbf{f^*})p(\mathbf{y}|\mathbf{f})}{p(\mathbf{y})}$
Bayes teoreminin olağan şekli bu değildir. Bayes teoremi

$p (f, f^{*} | y) = \frac{p (f, f^{*}) p (y | f, f^{*})}{p (y)}$ $p(\mathbf{f},\mathbf{f^*}|\mathbf{y})=\frac{p(\mathbf{f},\mathbf{f^*})p(\mathbf{y}|\mathbf{f},\mathbf{f^*})}{p(\mathbf{y})}$
İki denklemin neden aynı olduğunu anlıyorum: sezgisel olarak, yanıt vektörü sadece karşılık gelen gizli vektöre , böylece veya aynı dağıtıma yol açmalıdır. Ancak, bu bir sezgi, kanıt değil! Nedenini göstermeme yardım eder misin $\mathbf{y}$ $\mathbf{f}$ $\mathbf{f}$ $(\mathbf{f},\mathbf{f^*})$

$p (y | f, f^{*}) = p (y | f)$ $p(\mathbf{y}|\mathbf{f},\mathbf{f^*})=p(\mathbf{y}|\mathbf{f})$

regression bayesian gaussian-process

— DeltaIV
kaynak

düzeltirsek , içindeki tüm belirsizlik gürültüden kaynaklanır. Dolayısıyla makaledeki denklem (5) için verilen her noktada ve ortalama sıfır ile bağımsız gürültüye . İlk ortalamayı ekliyoruz ve cevabı alıyoruz. $\mathbf{f}$ $\mathbf{y}$ $\mathbf{f}$ $\sigma_{noise}^2$ $0$
Önerilen eşitliğini kanıtlamanın bir yolu dağılımı bulmaktır. kalitenin sol tarafında ve sağ tarafında. Her ikisi de Gauss'lu, sol taraf için cevabı zaten biliyoruz. Sağ taraf için de benzer şekilde ilerliyoruz. için koşullu dağılımı bulalım . İlk bölümün sonucundan biliyoruz: Olasılık kurallarını kullanarak 'i dan entegre etmek kolaydır. $p (y | f, f^{*}) = p (y | f)$ $p(\mathbf{y} | \mathbf{f}, \mathbf{f}^*) = p(\mathbf{y} | \mathbf{f})$ $(\mathbf{y}, \mathbf{y}^*)$ $p (y, y^{*} | f, f^{*}) = N ((f, f^{*}), σ_{n o i s e}^{2} I) .$ $p(\mathbf{y}, \mathbf{y}^* | \mathbf{f}, \mathbf{f}^*) = \mathcal{N}((\mathbf{f}, \mathbf{f}^*), \sigma^2_{noise} I).$ $\mathbf{y}^*$ $(\mathbf{y}, \mathbf{y}^*)$ , kovaryans matrisi çapraz olduğundan ve ve vektörleri bağımsızdır. Bunu yaparak şunu elde ederiz: $\mathbf{y}$ $\mathbf{y}^*$ $p (y | f, f^{*}) = N (f, σ_{n o i s e}^{2} I) = p (y | f) .$ $p(\mathbf{y} | \mathbf{f}, \mathbf{f}^*) = \mathcal{N}(\mathbf{f}, \sigma^2_{noise} I) = p(\mathbf{y} | \mathbf{f}).$

— Alexey Zaytsev
kaynak