Radyal temel fonksiyonunun bir çekirdek olduğunu nasıl ispatlayabilirim?

35

Radyal temel işlevinin bir çekirdek olduğunu nasıl ispatlayabilirim ? Anladığım kadarıyla, bunu kanıtlamak için aşağıdakilerden birini kanıtlamamız gerekiyor: $k(x, y) = \exp(-\frac{||x-y||^2)}{2\sigma^2})$

Herhangi bir vektör kümesi için, matrisi = pozitif yarı-sonludur. $x_1, x_2, ..., x_n$ $K(x_1, x_2, ..., x_n)$ $(k(x_i, x_j))_{n \times n}$
Bir eşleme $\Phi$ , $k(x, y)$ = $\langle\Phi(x), \Phi(y)\rangle$ .

Herhangi bir yardım?

svm kernel-trick

— Aslan burcu
kaynak

1

Sadece daha açık bir şekilde bağlamak için: özellik haritası da bu soruda tartışılmıştır , özellikle Marc Claesen'in Taylor serisine ve benim cevabına dayanan cevabı , hem RKHS hem de aşağıdaki Douglas tarafından verilen

L_{2}

$L_2$ gömülmesinin genel versiyonunu

.

— Dougal

26

Zen yöntem 1 kullandı. İşte yöntem 2: Hilbert uzay $x$ merkezli, küresel simetrik bir Gauss dağılımına eşleyin . Bunun tam olarak çalışması için standart sapma ve sabit bir faktör ayarlanması gerekir. Örneğin, bir boyutta $x$ $L^2$

\int_{- \infty}^{\infty} \frac{\exp [- (x - z)^{2} / (2 σ^{2})]}{\sqrt{2 π} σ} \frac{\exp [- (y - z)^{2} / (2 σ^{2})}{\sqrt{2 π} σ} d z = \frac{\exp [- (x - y)^{2} / (4 σ^{2})]}{2 \sqrt{π} σ} .

$\int_{-\infty}^\infty \frac{\exp[-(x-z)^2/(2\sigma^2)]}{\sqrt{2 \pi} \sigma} \frac{\exp[-(y-z)^2/(2 \sigma^2)}{\sqrt{2 \pi} \sigma} dz = \frac{\exp [-(x-y)^2/(4 \sigma^2)]}{2 \sqrt \pi \sigma}.$

Bu nedenle, standart bir sapma kullanın $\sigma/\sqrt 2$ ve Gauss dağılımını ölçeklendirerek $k(x,y) = \langle \Phi(x), \Phi(y)\rangle$ . Bu son yeniden ölçeklendirme, normal dağılımın $L^2$ normunun genel olarak olmaması nedeniyle oluşur $1$ .

— Douglas Zare
kaynak

2

@Zen, Douglas Zare: Harika cevaplarınız için teşekkürler. Şimdi resmi cevabı nasıl seçeceğim?

— Leo

23

Yöntem 1'i kullanacağım. Yöntem 2'yi kullanarak Douglas Zare'in cevabını 2 ispatı kullanarak kontrol edin.

gerçek sayı olduğu durumlarda durumu ispatlayacağım , bu yüzden . Genel durum mutatis mutandis'i aynı argümandan izler ve yapmaya değer. $x,y$ $k(x,y)=\exp(-(x-y)^2/2\sigma^2)$

Genelliğini kaybetmeden, olduğunu varsayalım . $\sigma^2=1$

Yaz , burada , dağılımlı , rastgele bir değişkeninin karakteristik işlevidir . $k(x,y)=h(x-y)$

h (t) = \exp (- \frac{t^{2}}{2}) = E [e^{ben t Z}]

$h(t)=\exp\left(-\frac{t^2}{2}\right)=\mathrm{E}\left[e^{itZ}\right]$

Z

$Z$

N (0, 1)

$N(0,1)$

Gerçek sayılar için ve , ki bu, pozitif bir yarı-sonlu fonksiyon olduğunu, yani bir çekirdek olduğunu gösterir. $x_1,\dots,x_n$ $a_1,\dots,a_n$

Σ_{j, k = 1}^{n} {bir}_{j} {bir}_{k} h (x_{j} - x_{k}) = Σ_{j, k = 1}^{n} {bir}_{j} {bir}_{k} E [e^{ben (x_{j} - x_{k}) Z}] = E [Σ_{j, k = 1}^{n} {bir}_{j} e^{ben x_{j} Z} {bir}_{k} e^{- ben x_{k} Z}] = E [{| Σ_{j = 1}^{n} {bir}_{j} e^{ben x_{j} Z} |}^{2}] \geq 0,

$\sum_{j,k=1}^n a_j\,a_k\,h(x_j-x_k) = \sum_{j,k=1}^n a_j\,a_k\,\mathrm{E} \left[ e^{i(x_j-x_k)Z}\right] = \mathrm{E} \left[ \sum_{j,k=1}^n a_j\,e^{i x_j Z}\,a_k\,e^{-i x_k Z}\right] = \mathrm{E}\left[ \left| \sum_{j=1}^n a_j\,e^{i x_j Z}\right|^2\right] \geq 0 \, ,$

k

$k$

Bu sonucu daha fazla genellikte anlamak için Bochner Teoremini inceleyin: http://en.wikipedia.org/wiki/Positive-definite_function

— Zen
kaynak

2

Bu, iki yönde iyi bir başlangıçtır, doğru yönde: (a) gösterilen beklenti ile aynı değildir (üsdeki işareti kontrol edin) ve (b) bu durumun dikkatini kısıtlıyor gibi görünüyor ve skalerdir ve vektör değildir. Bu süre zarfında çok başarılı oldum, çünkü fuar güzel ve temiz ve bu küçük boşlukları hemen takacağınızdan eminim. :-)

h (t)

$h(t)$

x

$x$

y

$y$

— kardinal

1

Tks! Acelem var burada. :-)

— Zen

1

Affedersiniz, burada mutatis mutandis'i nasıl yönettiğinizi gerçekten anlamıyorum. Eğer formuna geçmeden önce norm geliştirirseniz, ürün elde edersiniz ve ürün ve toplamı değiştiremezsiniz. Ve ben sadece güzel bir ifade elde etmek için h formuna geçtikten sonra normu nasıl geliştireceğimi göremiyorum. Beni biraz oraya götürebilir misin? :)

h

$h$

— Alburkerk

23

Sadece çeşitlilik için üçüncü bir yöntem ekleyeceğim: çekirdeği pd çekirdeği oluşturduğu bilinen bir genel adımlar dizisinden oluşturmak. aşağıdaki çekirdeğin alanını göstermesine ve özellik haritalarının olmasına izin verin . $\mathcal X$ $\varphi$

Ölçekleme: Eğer isimli bir pd çekirdeği, böyledir herhangi sabiti için . $\kappa$ $\gamma \kappa$ $\gamma > 0$

Kanıt: için özellik haritasıysa , için geçerli bir özellik haritasıdır . $\varphi$ $\kappa$ $\sqrt\gamma \varphi$ $\gamma \kappa$
Toplamları: Eğer ve pd çekirdekleri vardır, böyledir . $\kappa_1$ $\kappa_2$ $\kappa_1 + \kappa_2$

Kanıt: ı elde etmek için ve özellik haritalarını . $\varphi_1$ $\varphi_2$ $x \mapsto \begin{bmatrix}\varphi_1(x) \\ \varphi_2(x)\end{bmatrix}$
Sınırları: Eğer pd çekirdekleri ve vardır her için var , daha sonra pd'dir. $\kappa_1, \kappa_2, \dots$ $\kappa(x, y) := \lim_{n \to \infty} \kappa_n(x, y)$ $x, y$ $\kappa$

Korumalı: her biri için her o var . Limiti olarak almak, için aynı özelliği verir . $m, n \ge 1$ $\{ (x_i, c_i) \}_{i=1}^m \subseteq \mathcal{X} \times \mathbb R$ $\sum_{i=1}^m c_i \kappa_n(x_i, x_j) c_j \ge 0$ $n \to \infty$ $\kappa$
Ürünler: Eğer ve pd çekirdekleri, bu nedenle bir . $\kappa_1$ $\kappa_2$ $g(x, y) = \kappa_1(x, y) \, \kappa_2(x, y)$

Kanıt: Schur ürün teoreminden hemen sonra gelir , ancak Schölkopf ve Smola (2002) aşağıdaki güzel, temel kanıtı verir. Bırakın bağımsız olun. Böylece Kovaryans matrisleri psd olmalıdır, bu nedenle kovaryans matrisini göz önüne alarak bunu kanıtlar.
$(V_{1}, ..., V_{m}) ~ N- (0, {[κ_{1} (x_{ben}, x_{j})]}_{ben j}) (W_{1}, ..., W_{m}) ~ N- (0, {[κ_{2} (x_{ben}, x_{j})]}_{ben j})$ $(V_1, \dots, V_m) \sim \mathcal{N}\left( 0, \left[ \kappa_1(x_i, x_j) \right]_{ij} \right) \\ (W_1, \dots, W_m) \sim \mathcal{N}\left( 0, \left[ \kappa_2(x_i, x_j) \right]_{ij} \right)$ $C O v (V_{ben} W_{ben}, V_{j} W_{j}) = C O v (V_{ben}, V_{j}) C O v (W_{ben}, W_{j}) = κ_{1} (x_{ben}, x_{j}) κ_{2} (x_{ben}, x_{j}) .$ $\mathrm{Cov}(V_i W_i, V_j W_j) = \mathrm{Cov}(V_i, V_j) \,\mathrm{Cov}(W_i, W_j) = \kappa_1(x_i, x_j) \kappa_2(x_i, x_j).$ $(V_1 W_1, \dots, V_n W_n)$
Güçler: Eğer isimli bir Pd çekirdek, so herhangi bir pozitif tamsayı için . $\kappa$ $\kappa^n(x, y) := \kappa(x, y)^n$ $n$

Kanıt: "ürünler" özelliğinden hemen.
Üstel: Eğer isimli bir Pd çekirdek, so . $\kappa$ $e^\kappa(x, y) := \exp(\kappa(x, y))$

İspat: Elimizde ; "güçler", "ölçekler", "toplamlar" ve "sınırlar" özelliklerini kullanın. $e^\kappa(x, y) = \lim_{N \to \infty} \sum_{n=0}^N \frac{1}{n!} \kappa(x, y)^n$
Özellikler: Eğer isimli bir Pd, çekirdek ve , olarak iyi. $\kappa$ $f : \mathcal X \to \mathbb R$ $g(x, y) := f(x) \kappa(x, y) f(y)$

Kanıt: özellik haritasını kullanın . $x \mapsto f(x) \varphi(x)$

Şimdi, Doğrusal çekirdek ile başla , "ölçeklendirme" uygulayın, "üstler" uygulayın ve " " işlevlerini .

\begin{aligned} k (x, y) & = \exp (- \frac{1}{2 σ^{2}} ‖ x - y ‖^{2}) \\ = \exp (- \frac{1}{2 σ^{2}} ‖ x ‖^{2}) \exp (\frac{1}{σ^{2}} x^{T} y) \exp (- \frac{1}{2 σ^{2}} ‖ y ‖^{2}) . \end{aligned}

$\begin{align*} k(x, y) &= \exp\left( - \tfrac{1}{2 \sigma^2} \lVert x - y \rVert^2 \right) \\&= \exp\left( - \tfrac{1}{2 \sigma^2} \lVert x \rVert^2 \right) \exp\left( \tfrac{1}{\sigma^2} x^T y \right) \exp\left( - \tfrac{1}{2 \sigma^2} \lVert y \rVert^2 \right) .\end{align*}$

κ (x, y) = x^{T} y

$\kappa(x, y) = x^T y$

\frac{1}{σ^{2}}

$\frac{1}{\sigma^2}$

x \mapsto \exp (- \frac{1}{2 σ^{2}} ‖ x ‖^{2})

$x \mapsto \exp\left( - \tfrac{1}{2 \sigma^2} \lVert x \rVert^2 \right)$

— Dougal
kaynak