Gauss süreçlerinin faydaları

13

Gauss süreçlerinin faydalarıyla ilgili bu karışıklığa sahibim. Yani, doğrusal fonksiyonun verileri modellediğini tanımladığımız basit doğrusal regresyon ile karşılaştırmak.

Bununla birlikte, Gaussian süreçlerde fonksiyonların dağılımını tanımlarız, fonksiyonun doğrusal olması gerektiğini özel olarak tanımlamıyoruz demektir. Fonksiyonun ne kadar pürüzsüz olması gerektiği ve hepsi gibi özellikleri tanımlayan, Gaussian olan fonksiyonun üzerinde bir öncül tanımlayabiliriz.

Dolayısıyla, modelin ne olması gerektiğini açıkça tanımlamak zorunda değiliz. Ancak sorularım var. Marjinal olasılıkımız var ve bunu kullanarak daha önce gaussianın kovaryans fonksiyon parametrelerini ayarlayabiliriz. Yani bu, olması gereken işlev türünü tanımlamaya benzer.

GP'de hiperparametreler olmalarına rağmen parametreleri tanımlayan aynı şeyle kaynar. Örneğin bu makalede . GP'nin ortalama işlevinin

m (x) = a x^{2} + b x + c i.e. a second order polynomial.

$m(x) = ax ^2 + bx + c \quad \text{i.e. a second order polynomial.}$

Yani kesinlikle model / fonksiyon tanımlanmış değil mi? Peki işlevi LR'deki gibi doğrusal olacak şekilde tanımlamanın farkı nedir?

GP kullanmanın ne faydası olduğunu anlamadım

gaussian-process

— user34790
kaynak

7

Gauss süreç gerilemesi ile ilgili bazı formülleri hatırlayalım. Örnek bir olduğunu varsayalım . Bu örnek mantıksallık şu şekildedir: burada örnek kovaryans matrisidir. Orada , loglikelihood maksimizasyonunu kullanarak ayarladığımız parametrelerle bir kovaryans fonksiyonudur. Yeni bir nokta için tahmin (arka ortalama) şu şekildedir: orada $D = (X,\mathbf{y}) = \{(\mathbf{x}_i, y_i)\}_{i = 1}^N$

L = - \frac{1}{2} (\log | K | + y^{T} K^{- 1} y),

$L = -\frac12 \left( \log |K| + \mathbf{y}^T K^{-1} \mathbf{y}\right),$

K = {k (x_{i}, x_{j})}_{i, j = 1}^{N}

$K = \{k(\mathbf{x}_i, \mathbf{x}_j)\}_{i, j = 1}^N$

k (x_{i}, x_{j})

$k(\mathbf{x}_i, \mathbf{x}_j)$

x

$\mathbf{x}$

\hat{y} (x) = k K^{- 1} y,

$\hat{y}(\mathbf{x}) = \mathbf{k} K^{-1} \mathbf{y},$

k = {k (x, x_{i})}_{i = 1}^{N}

$\mathbf{k} = \{k(\mathbf{x}, \mathbf{x}_i)\}_{i = 1}^N$ yeni nokta ve örnek noktalar arasındaki kovaryansların bir vektörüdür.

Şimdi Gauss süreçlerinin regresyonunun tam doğrusal modelleri modelleyebileceğini unutmayın. Kovaryans işlevinin biçiminde olduğunu varsayalım . Bu durumda tahmin şu şekildedir: Kimlik tekil olmayan durumda doğrudur , ancak durum böyle değildir, ancak kovaryans matris düzenlenmesi kullanmamız durumunda bu bir sorun değildir. Bu nedenle, en sağ taraf doğrusal regresyon için kesin formüldür ve uygun kovaryans fonksiyonunu kullanarak Gauss süreçleriyle doğrusal regresyon yapabiliriz. $k(\mathbf{x}_i, \mathbf{x}_j) = \mathbf{x}_i^T \mathbf{x}_j$

\hat{y} (x) = x^{T} X^{T} (X X^{T})^{- 1} y = x^{T} (X^{T} X)^{- 1} X^{T} y .

$\hat{y}(\mathbf{x}) = \mathbf{x}^T X^T (X X^T)^{-1} \mathbf{y} = \mathbf{x}^T (X^T X)^{-1} X^T \mathbf{y}.$

(X X^{T})^{- 1}

$(X X^T)^{-1}$

Şimdi başka bir kovaryans fonksiyonuyla (örneğin, formunun kare üstel kovaryans fonksiyonu ile bir Gauss süreç regresyonunu ele alalım , ayarladığımız hiperparametrik bir matris var ). Açıkçası, bu durumda posterior ortalama doğrusal bir fonksiyon değildir (resme bakınız). $\exp \left( -(\mathbf{x}_i - \mathbf{x}_j)^T A^{-1} (\mathbf{x}_i - \mathbf{x}_j) \right)$ $A$

resim açıklamasını buraya girin .

Bu nedenle fayda, uygun olmayan bir kovaryans işlevi kullanarak doğrusal olmayan işlevleri modelleyebilmemizdir (en son teknolojiyi seçebiliriz, çoğu durumda kare üstel kovaryans işlevi oldukça iyi bir seçimdir). Doğrusalsızlığın kaynağı, bahsettiğiniz eğilim bileşeni değil, kovaryans işlevidir.

— Alexey Zaytsev
kaynak

3

Bunun GP'nin sadece bir yararı olduğunu ve diğer çekirdek yöntemleriyle paylaşıldığını söyleyebilirim. Olasılıklı olmak ve Bayesci çerçeveden gelmek GP'nin bir başka avantajıdır.

— Seeda

2

$x$ $f$ $f(x)$

$max$ $f$ $x$ $f$ $\mu$ $\Sigma$ (belirsizlik), örneğin pahalı kara kutu işlevlerinin optimize edilmesine izin verir.

— Tomasz Bartkowiak
kaynak