Gauss Süreci Regresyonunu sonsuz boyutlu temel fonksiyon görünümü ile anlama

Gauss süreç regresyonunun (GPR), (muhtemelen) sonsuz miktarda temel fonksiyon ile bayes lineer regresyonuna karşılık geldiği söylenir. Şu anda GPR kullanarak ne tür modeller ifade edebileceğime dair bir sezgi almak için bunu ayrıntılı olarak anlamaya çalışıyorum.

1. Bunun GPR'yi anlamaya çalışmak için iyi bir yaklaşım olduğunu düşünüyor musunuz?

Makine öğrenimi için Gauss Süreçleri kitabında Rasmussen ve Williams, parametrelenmiş üstel kare çekirdek eşdeğer olarak bayiler regresyon olarak tanımlanabilir. Daha önce ve önceden sonsuz sayıda temel fonksiyon formu Bu durumda, çekirdek parametreleme ile tam olarak bir parametreleme çevrilmiş olabilir fonksiyonlar.

$$k(x,x';l)= \sigma_p^2\exp\left(-\frac{(x-x)^2}{2l^2}\right)$$ $w \sim \mathcal{N}(0,\sigma_p^2 I)$ $$\phi_c(x;l)=\exp\left(-\frac{(x-c)^2}{2l^2}\right)$$

2. Farklılaştırılabilir bir çekirdeğin parametrelendirilmesi her zaman önceki ve temel fonksiyonların parametrelendirilmesine çevrilebilir mi veya örneğin, baz fonksiyonların sayısının yapılandırmaya bağlı olduğu farklılaştırılabilir çekirdekler var mı?

Şimdiye kadar anladığım kadarıyla, sabit bir çekirdek işlevi k (x, x ') için Mercer'in Teoremi bize olarak ifade edilebileceğini söyler burada ya gerçeklere ya da karmaşık sayılara bir fonksiyondur. Bu nedenle, belirli bir çekirdek için karşılık gelen bayes regresyon modelinin önceden ve temel işlevleri . Böylece, her GP daha önce köşegen olan bayes lineer regresyon modeli olarak formüle edilebilir. Ancak şimdi her yapılandırma için Mercers teoremini kullanmak durumunda Parametrelenmiş çekirdek her noktasında türevli olduğunu$k(x,x')$

$$k(x,x')=\sum_{i=1}^\infty \lambda_i\phi_i(x)\phi_i(x')$$ $\phi_i$$w \sim \mathcal{N}(0,\text{diag}([\lambda_1^2,\ldots]))$$\phi_i$$k(x,x',\theta)$$\theta$ karşılık gelen özdeğerler ve özfonksiyonlar her konfigürasyon için farklı olabilir.

Bir sonraki sorum merser teoreminin tersi hakkında.

3. Hangi temel fonksiyon setleri geçerli çekirdeğe yol açar?

Ve uzantı

4. Hangi parametreli temel fonksiyon setleri geçerli farklılaştırılabilir çekirdeklere yol açar?

İşte birkaç açıklama. Belki bir başkası detayları doldurabilir.

1) Temsiller her zaman iyi bir fikirdir. Kovaryans fonksiyonunuzla gerçekten hesaplamalı bir şey yapmak istiyorsanız onlardan kaçınmak zordur. Temel genişleme, çekirdeğe bir yaklaşım ve üzerinde çalışılacak bir şey verebilir. Umut, çözmeye çalıştığınız problem için mantıklı bir temel bulabilmenizdir.

2) Bu sorudaki bir yapılandırma ile ne demek istediğinizden tam olarak emin değilim. Temel işlevlerden en az birinin , çekirdeğe bağımlı olması için bir işlevi olması gerekir . Yani evet, özfonksiyonlar parametreye göre değişecektir. Ayrıca farklı parametreler ile de farklılık gösterirler.$\theta$$\theta$

Tipik olarak, temel fonksiyonların sayısı (sayıyla) sonsuz olacaktır, bu nedenle, bazı değerler çekirdeğin dejenere olmasına neden olmadıkça, sayı parametreye göre değişmez.

Ayrıca Eğer Bayesian sahip süreci ile ilgili uç 2'de ne anlama geldiğini anlamak yok önce çünkü , bu noktaya kadar söz edilmemiştir . Ayrıca, sonsuz boyutlu bir matris gibi görünüyor ve bununla ilgili bir sorunum var.w d i a g [ λ 2 1 , … $w \sim \mathcal{N}(0,diag[\lambda_1^2, \ldots])$$w$$diag[\lambda_1^2, \ldots]$

3) Hangi temel fonksiyonlar grubu geçerli çekirdekler oluşturur? Bir özdeğer düşünürseniz, işlevlerin bir ölçüye göre dik olması gerekir. İki sorun var. 1) Ortaya çıkan çekirdek pozitif kesin olmalıdır ... ve pozitifse sorun olmaz. Ve 2) genişleme yakınsamak zorunda. Bu , ifadenin yakınsamasını sağlamak için yeterince hızlı bir şekilde gereken bağlı olacaktır . Yakınsama 'lerin alanına da bağlı olacaktır.λ i$\lambda_i$$\lambda_i$$x$

Temel işlevler dikey değilse, onlardan tanımlanan bir kovaryansın pozitif kesin olduğunu göstermek daha zor olacaktır. Açıkçası, bu durumda bir öz genişleme ile değil, ilgilenilen işleve yaklaşmanın başka bir yoluyla uğraşıyorsunuz.

Ancak, insanların genellikle bir grup işlevden başladığını ve onlardan bir kovaryans çekirdeği oluşturmaya çalıştıklarını sanmıyorum.

RE: Çekirdeğin ayırt edilebilirliği ve temel fonksiyonların ayırt edilebilirliği. Bu sorunun cevabını gerçekten bilmiyorum, ancak aşağıdaki gözlemi sunacağım.

Fonksiyonel analiz, fonksiyonları (sonsuz boyutlu bir boşluktan) daha basit fonksiyonların sonlu toplamları ile yaklaştırarak devam eder. Bu işi yapmak için her şey dahil olan yakınsama türüne bağlıdır. Tipik olarak, ilgilenilen işlevler üzerinde güçlü yakınsama özelliklerine (tekdüze yakınsama veya mutlak toplanabilirlik) sahip kompakt bir set üzerinde çalışıyorsanız, aradığınız sezgisel bir sonuç elde edersiniz: basit işlevlerin özellikleri limit fonksiyonu - örneğin, çekirdek bir parametrenin ayırt edilebilir bir fonksiyonuysa, genişletme fonksiyonları aynı parametrenin ayırt edilebilir fonksiyonları olmalıdır ve tersi de geçerlidir. Zayıf yakınsama özellikleri veya kompakt olmayan alanlar altında bu gerçekleşmez. Benim tecrübelerime göre, ortaya çıkan her "makul" fikre karşı bir örnek var.

Not: Bu sorunun okuyucularından olası karışıklığı önlemek için, 1. noktanın Gauss genişlemesinin 2. noktanın öz genişlemesine bir örnek olmadığını unutmayın.