Gaussian çekirdeği için özellik haritası

24

K (x, y) = \exp (- \frac{‖ x - y ‖_{2}^{2}}{2 σ^{2}}) = ϕ (x)^{T} ϕ (y)

$K(x,y)=\exp\left({-\frac{\|x-y\|_2^2}{2\sigma^2}}\right)=\phi(x)^T\phi(y)$

x, y \in R^{n}

$x, y\in \mathbb{R^n}$

ϕ

$\phi$

Ben de olmadığını bilmek istiyorum nerede . Şimdi, bunun eşit olmadığını düşünüyorum, çünkü bir çekirdek kullanmak, doğrusal sınıflayıcının çalışmadığı durumu ele alır. x'i sonsuz bir alana biliyorum . Bu yüzden hala doğrusal kalırsa, kaç boyut olursa olsun, svm hala iyi bir sınıflandırma yapamaz.

\sum_{i} c_{i} ϕ (x_{i}) = ϕ (\sum_{i} c_{i} x_{i})

$\sum_ic_i\phi(x_i)=\phi \left(\sum_ic_ix_i \right)$

c_{i} \in R

$c_i\in \mathbb R$

ϕ

$\phi$

machine-learning svm kernel-trick

— Vivian
kaynak

Bu çekirdek neden bir dönüşüm anlamına geliyor? Yoksa ilişkili özellik alanından mı bahsediyorsunuz?

— Placidia

Evet,

özelliği nedir,

ϕ (\cdot)

$\phi(\cdot)$ böylece

ϕ^{T} (x) ϕ (x^{^{'}}) = e x p (- \frac{1}{2 σ^{2}} ‖ x - x^{^{'}} ‖^{2})

$\phi^T(x)\phi(x^{'}) = exp(-\frac{1}{2\sigma^2}\|x-x^{'}\|^2)$

— user27886

20

Gaussian çekirdeği için açık denklemini $\phi$ Terzi dizisi genişletmesiyle elde edebilirsiniz . Gösterim kolaylığı için : $e^x$ $x\in \mathbb{R}^1$

ϕ (x) = e^{- x^{2} / 2 σ^{2}} [1, \sqrt{\frac{1}{1! σ^{2}}} x, \sqrt{\frac{1}{2! σ^{4}}} x^{2}, \sqrt{\frac{1}{3! σ^{6}}} x^{3}, \dots]^{T}

$\phi(x) = e^{-x^2/2\sigma^2} \Big[ 1, \sqrt{\frac{1}{1!\sigma^2}}x,\sqrt{\frac{1}{2!\sigma^4}}x^2,\sqrt{\frac{1}{3!\sigma^6}}x^3,\ldots\Big]^T$

Bu aynı zamanda NTU'nun Chih-Jen Lin'i (özellikle 11 no'lu slayt ) bu slaytlarda daha ayrıntılı olarak tartışılmaktadır . slaytlarında çekirdek parametresi olarak kullanıldığını unutmayın. $\gamma=\frac{1}{2\sigma^2}$

OP'deki denklem yalnızca doğrusal çekirdek için geçerlidir.

— Marc Claesen
kaynak

2

Merhaba, ancak yukarıdaki denklem sadece bir boyuta uygun.

— Vivian

Öyleyse, burada, üreyen çekirdek Hilbert alanı alt alanıdır , doğru mu?

ℓ^{2}

$\ell^2$

— The_Anomaly

Laplacian çekirdeğinin açık bir temsili var mı?

— Felix Crazzolara

13

Herhangi bir geçerli psd çekirdeği , bir özellik haritası var öyle ki . Space ve gömme aslında benzersiz olması gerekmez, ancak üreme çekirdeği Hilbert uzayı (RKHS) olarak bilinen önemli bir benzersiz çift ) vardır. $k : \mathcal X \times \mathcal X \to \mathbb R$ $\varphi : \mathcal X \to \mathcal H$ $k(x, y) = \langle \varphi(x), \varphi(y) \rangle_{\mathcal H}$ $\mathcal H$ $\varphi$ $(\mathcal H, \varphi)$

RKHS tartışılmaktadır: Steinwart, Hush ve Scovel, Gaussian RBF Çekirdeklerinin Çekirdek Hilbert Uzaylarının Çoğaltılmasının Açık bir Tanımı , Bilgi Teorisine İlişkin 2006 IEEE İşlemleri ( DOI , free citeseer pdf ).

Biraz karmaşık, ama buna bağlı olarak: olarak $e_n : \mathbb C \to \mathbb C$

e_{n} (z) := \sqrt{\frac{(2 σ^{2})^{n}}{n!}} z^{n} e^{- σ^{2} z^{2}} .

$e_n(z) := \sqrt{\frac{(2 \sigma^2)^n}{n!}} z^n e^{-\sigma^2 z^2} .$

Let baştan uzanan bir sekans olabilir , pozitif tamsayılar -tuples; eğer , belki , , vb. Ifade inci bileşeni ile inci tuple . $n : \mathbb{N}_0 \to \mathbb{N}_0^d$ $d$ $d = 3$ $n(0) = (0, 0, 0)$ $n(1) = (0, 0, 1)$ $n(2) = (0, 1, 1)$ $j$ $i$ $n_{ij}$

Sonra inci bileşeni olan . Böylece vektörleri sonsuz boyutlu karmaşık vektörlerle eşleştirir . $i$ $\varphi(x)$ $\prod_{j=1}^d e_{n_{ij}}(x_j)$ $\varphi$ $\mathbb R^d$

Bunun yakalamak, bu sonsuz boyutlu kompleks vektörler için normları özel bir şekilde tanımlamamız gerektiğidir; ayrıntılar için makaleye bakın.

Steinwart ve diğ. Ayrıca, daha basit (benim düşünceme göre) içine , kare-birleştirilebilir fonksiyonların Hilbert alanı : Not bu kendisi bir fonksiyonudur üzere . Temelde, ortalama ve kovaryansı olan bir boyutlu Gaussian yoğunluğu ; sadece normalleştirme sabiti farklıdır. Böylece aldığımız zaman $L_2(\mathbb R^d)$ $\mathbb R^d \to \mathbb R$

Φ_{σ} (x) = \frac{(2 σ)^{\frac{d}{2}}}{π^{\frac{d}{4}}} e^{- 2 σ^{2} ‖ x - \cdot ‖_{2}^{2}} .

$\Phi_\sigma(x) = \frac{(2 \sigma)^{\frac{d}{2}}}{\pi^{\frac{d}{4}}} e^{- 2 \sigma^2 \lVert x - \cdot \rVert_2^2} .$

Φ_{σ} (x)

$\Phi_\sigma(x)$

R^{d}

$\mathbb R^d$

R

$\mathbb R$

d

$d$

x

$x$

\frac{1}{4 σ^{2}} I

$\frac{1}{4 \sigma^2} I$

⟨ Φ (x), Φ (y) ⟩_{L_{2}} = \int [Φ (x)] (t) [Φ (y)] (t) d t,

$\langle \Phi(x), \Phi(y) \rangle_{L_2} = \int [\Phi(x)](t) \; [\Phi(y)](t) \,\mathrm d t ,$ Gauss yoğunluğunun belirli bir sabit zaman olan Gauss yoğunluk fonksiyonlarının ürününü alıyoruz . Bu integrali , düşen sabit tam olarak .

t

$t$

k (x, y)

$k(x, y)$

Bunlar işe yarayan tek gömme değil.

Bir diğeri, Rahimi ve Recht ( Büyük Ölçekli Çekirdek Makineleri İçin Rastgele Özellikler , NIPS 2007) ' nin ünlü makalesinin büyük etkiye yaklaştığı Fourier dönüşümüne dayanıyor .

Taylor serisini kullanarak da yapabilirsiniz: Cotter, Keshet ve Srebro'nun sonsuz versiyonu , Gaussian Çekirdeğinin Açık Yaklaşımları , arXiv: 1109.4603 .

— Dougal
kaynak

1

Douglas Zare, burada ilginç bir iş parçacığına gömülü "daha basit" bir 1d sürümü verdi .

— Dougal

Burada, Phi'nin, sonsuz bir eğitim örneği için bile, eğitim örneğinin boyutuna eşit boyutta bir boyut alanı üzerinde haritaya koyabileceği daha 'sezgisel' bir açıklama bulacaksınız : stats.stackexchange.com/questions/80398/…

Φ

$\Phi$

6

Takdirde, ikinci denklem tek gerçek olacak geliyor bana bir olan doğrusal haritalama (ve dolayısıyla doğrusal bir çekirdek olduğunu). Gauss çekirdeği doğrusal olmadığından eşitlik korunmayacak (belki de sıfıra giderken limiti dışında ). $\phi$ $K$ $\sigma$

— Dikran Marsupial
kaynak

Cevabınız için teşekkür ederim. Ne zaman , Gauss çekirdek projelerinin boyut artıracak. Ve ilhamınla, şimdi eşit olmadığını düşünüyorum. Çünkü çekirdeği kullanmak sadece doğrusal sınıflamanın işe yaramadığı durumuyla ilgilidir.

σ \to 0

$\sigma\rightarrow 0$

— Vivian