Gauss süreci (regresyon) evrensel yaklaşım özelliğine sahip mi?

A ve b'nin gerçek sayılar olduğu [a, b] üzerindeki herhangi bir sürekli işlev Gauss Süreçleri (Regresyon) tarafından işleve (bazı normlarda) yaklaşık olarak yakın olabilir veya keyfi olarak yakın olabilir mi?

gaussian-process approximation

— Michael D
kaynak

Daha spesifik ol!

— Henry.L

Evet! Aslında, kovaryans fonksiyonuna bağlıdır, ancak bazıları için yaparlar . Dustin Tran ve diğ. aynı zamanda , çözgü fonksiyonlarından dolayı daha karmaşık bir model olan Varyasyonel Gauss Süreci için Bayesci çerçevede evrensel bir yaklaşım teoremini kanıtlamıştır , ancak çok yakından ilişkilidir. Soru yeniden açılırsa bir cevap yazacağım. PS, evrensel yaklaşımın, Yapay Sinir Ağları için olduğu gibi, .

R^{p}

$\mathbb{R}^p$

— DeltaIV

Bu sorudaki "evrensel yaklaşım" ifadesinin, atıfta bulunulan Wikipedia makalesindeki ifadeyle ilgisi yoktur veya çok azdır. Gerçekten de, bir işlemle bir işleve nasıl yaklaşabileceği net değildir . Ne sormaya çalıştığınız hakkında biraz ayrıntı verebilir misiniz?

— whuber

@whuber Teknik özellikler biraz gevşek olabilse de, sorunun asıl olarak "Giriş işlevi , keyfi olarak (bazı normlarda) yakın olan belirli bir GP'nin gerçekleşmesi var mı?" anlamına geldiğini düşünüyorum. Veya belki, "Bir işlevinden sonsuz sayıda örnek nokta gözlemlediğimiz ve bu verilerle standart GP çıkarım gerçekleştirdiğimizde, öğrenilen arka ortalama işlev (bir anlamda) gerçek işleve yaklaşıyor mu?" Bu ikisi elbette farklı özelliklerdir, ancak onları cevap verilebilecek kadar yakın olarak düşünürdüm (ve böylece beşinci yeniden oyu ver).

f

$f$

f

$f$

f

$f$

f

$f$

— Dougal

Belki de yakınsama yerine yakınsamayı kanıtlamak istersiniz. Aksi takdirde, kanıt basittir: işlevi ortalama için önceki gibi alabilirsiniz. değerinden daha fazla değil , ama işe yarıyor.

x = x

$x=x$

— Karel Macek

@Dougal'un belirttiği gibi, sorunuzun yorumlanmasının iki farklı yolu vardır. Öyle görünmese bile, yakından ilişkilidirler.

İlk yorumudur: izin kompakt bir alt kümesi (yoğunluk aşağıdakilerden tümü için temel olan !!!), izin olması, bir üzerinde tanımlanan sürekli kovaryans fonksiyonu (veya çekirdek) ve ile üzerindeki sürekli fonksiyonların normlu alanını belirtir , maksimum norm . Herhangi bir fonksiyon 'de , önceden tanımlanmış bir tolerans a ilişkili RKHS (Repeling Kernel Hilbert Space) fonksiyonuyla yaklaştırılabilir. $X$ $\mathbb{R}^d$ $k(\mathbf{x},\mathbf{x})$ $X\times X$ $C(X)$ $X$ $||\cdot||_{\infty}$ $f\in C(X)$ $f$ $\epsilon$ $k$ ? Bir RKHS'nin ne olduğunu, tüm bunların Gaussian Süreç Regresyonu ile ne ilgisi olduğunu merak edebilirsiniz. RKHS , tüm olası sonlu doğrusal kombinasyonlarının oluşturduğu vektör uzayının kapatılmasıdır. burada . Bu kesinlikle Gauss süreç gerilemesi ile ilgilidir, çünkü uzayda öncesinde Gauss işlemi verildiğinde , Gauss Süreci Regresyonu ile üretilebilecek tüm olası posterior araçların alanı tam olarak RKHS'dir. Nitekim, olası tüm posterior araçlar formdadır $K(X)$ $f_\mathbf{y}(\mathbf{x})=k(\mathbf{x},\mathbf{y})$ $\mathbf{y}\in X$ $GP(0,k(\mathbf{x},\mathbf{x}))$ $C(X)$

f (x) = \sum_{i = 1}^{n} c_{i} k (x, x_{i})

$f(\mathbf{x}) =\sum_{i=1}^n c_i k(\mathbf{x},\mathbf{x}_i)$

yani, fonksiyonlarının sonlu doğrusal kombinasyonlarıdır . Bu nedenle, etkili göz önüne alındığında, eğer bir Gauss işlem öncesi istiyoruz ile herhangi bir fonksiyon için, var GPR tarafından oluşturulabilen tüm işlevlerin (kapatılması) alanında daima işlevidir, bu da istendiği kadar yakındır . $f_\mathbf{x_i}(\mathbf{x})=k(\mathbf{x},\mathbf{x_i})$ $GP(0,k(\mathbf{x},\mathbf{x}))$ $C(X)$ $f\in C(X)$ $f^*$ $f$

Bazı belirli çekirdekler (klasik Kareli Üstel çekirdek dahil, ancak polinom çekirdek dahil değil) için cevap evettir . Tür çekirdekler için ispat edilebilir olan yoğun olarak , yani herhangi, ve herhangi bir tolerans , bir orada de , örneğin bu . Varsayımlara dikkat edin: kompakttır, sürekli ve evrensel yaklaşım özelliğine sahip sürekli bir çekirdektir. Buraya bakın $K(X)$ $C(X)$ $f\in C(X)$ $\epsilon$ $f^*$ $K(X)$ $||f-f^*||_{\infty}<\epsilon$ $X$ $f$ $k$ daha genel (dolayısıyla karmaşık) bir bağlamda tam bir kanıt için.

Bu sonuç, ilk bakışta göründüğünden çok daha az güçlüdür. Bile GPR oluşturulabilir arka araçlarının uzayda (kapanması) 'de, biz bu ispat değil edilir ise özellikle arka antrenman, nerede büyük yeterince set için, GPR tarafından döndürülen demek eğitim seti noktalarında gürültülü gözlemlerinden oluşur . GPR tarafından döndürülen posterior ortalamanın için hiçbir şekilde birleştiğini bile kanıtlamadık ! Bu aslında @Dougal tarafından önerilen ikinci yorumdur. Bu sorunun cevabı ilk sorunun cevabına bağlıdır: eğer herhangi bir fonksiyon yoksa $f^*$ $f$ $\mathbf{x}_1,\dots,\mathbf{x}_n$ $n \to \infty$ $f^*$ Bir "iyi yaklaşım" dır RKHS içinde Tabii arka ortalama kendisine GPR yakınsak tarafından döndürülen umut edemez arasında. Ancak, bu farklı bir soru. Bu soruya da cevap almak istiyorsanız, lütfen yeni bir soru sorun. $f$

— DeltaIV
kaynak