Gauss işlemi: işlev yaklaşma özellikleri

Gauss Süreci hakkında bir şeyler öğreniyorum ve sadece parçaları ve parçaları duydum. Yorum ve cevapları gerçekten takdir ediyorum.

Herhangi bir veri kümesi için, Gauss Süreci fonksiyon yaklaşımının veri noktalarında sıfır veya ihmal edilebilir montaj hatası vereceği doğru mu? Başka bir yerde de Gauss Süreci'nin özellikle gürültülü veriler için iyi olduğunu duydum. Bu gözlemlenen herhangi bir veri için düşük uyum hatası ile çelişiyor gibi görünüyor?

Ek olarak, veri noktalarından uzakta daha fazla belirsizlik (daha büyük kovaryans) var gibi görünmektedir. Eğer öyleyse, yerel modeller gibi davranıyor mu (RBF vb)?

Son olarak, evrensel bir yaklaşım özelliği var mı?

gaussian-process

— oalah
kaynak

Veri örneğinin . Ayrıca, bir Gussian işlemi için bir kovaryans fonksiyonuna ve sıfır ortalamaya sahip olduğumuzu varsayalım. için yeni bir nokta Dağılımı ortalama ve varyans ile Gauss olacakVektör bir kovaryans vektörüdür , matris $D = (X, \mathbf{y}) = \{\mathbf{x}_i, y_i = y(x_i)\}_{i = 1}^N$ $k(\mathbf{x}_1, \mathbf{x}_2)$ $\mathbf{x}$

m (x) = k K^{- 1} y

$m(\mathbf{x}) = \mathbf{k} K^{-1} \mathbf{y}$

V (x) = k (x, x) - k K^{- 1} k^{T} .

$V(\mathbf{x}) = k(\mathbf{x}, \mathbf{x}) - \mathbf{k} K^{-1} \mathbf{k}^T.$

k = {k (x, x_{1}), \dots, k (x, x_{N})}

$\mathbf{k} = \{k(\mathbf{x}, \mathbf{x}_1), \ldots, k(\mathbf{x}, \mathbf{x}_N)\}$

K = {k (x_{i}, x_{j})}_{i, j = 1}^{N}

$K = \{k(\mathbf{x}_i, \mathbf{x}_j)\}_{i, j = 1}^N$ bir örnek kovaryans matrisidir. Örnek enterpolasyon özelliği ambarları için posterior dağılımın ortalama değerini kullanarak tahmin yaparsak . Gerçekten,

m (X) = K K^{- 1} y = y .

$m(X) = K K^{-1} \mathbf{y} = \mathbf{y}.$ Ancak, normalleştirmeyi kullanırsak, yani beyaz gürültü terimini dahil ettiğimizde durum böyle değildir. bu durumda örnek için kovaryans matrisi

formuna sahiptir

K + σ I

$K + \sigma I$ , ancak gerçek fonksiyon değerlerine sahip kovaryanslar için

kovaryans matrisi vardır

K

$K$ ve posterior ortalaması

m (X) = K (K + σ ben)^{- 1} y \neq y .

$m(X) = K (K + \sigma I)^{-1} \mathbf{y} \neq \mathbf{y}.$ Buna ek olarak, düzenlileştirme sorunu daha hesaplama açısından istikrarlı hale getirir.

Gürültü varyansı seçerek enterpolasyon isteyip istemediğimizi ( ) seçebilir miyiz veya gürültülü gözlemlerle uğraşmak isteriz ( büyüktür). $\sigma$ $\sigma = 0$ $\sigma$

Ayrıca, Gauss süreçleri regresyonu yerel yöntemdir, çünkü tahminlerin varyansı öğrenme örneğine olan uzaklıkla birlikte artar, ancak uygun kovaryans fonksiyonunu seçebilir ve RBF'den daha karmaşık problemleri çözebiliriz. Başka bir güzel özellik az sayıda parametredir. Genellikle eşittir , burada veri boyutudur. $k$ $O(n)$ $n$

— Alexey Zaytsev
kaynak