RBF SVM'nin etkisi nasıl anlaşılır

SVM'deki RBF Çekirdeğinin ne yaptığını nasıl anlayabilirim? Yani matematiği anlıyorum ama bu çekirdeğin ne zaman yararlı olacağını hissetmenin bir yolu var mı?

RBF vektör mesafeleri içerdiğinden, kNN sonuçları SVM / RBF ile ilişkili midir?

Polinom çekirdeği hakkında bir his edinmenin bir yolu var mı? Boyut ne kadar yüksekse, o kadar kıpırdamadığını biliyorum. Ancak, tüm olası çekirdekleri denemek ve en başarılı olanları seçmek yerine, çekirdeklerin ne yaptığını sezgiye almak istiyorum.

svm kernel-trick

— Gerenuk
kaynak

Muhtemelen burada cevaplarımdan birine bakarak başlayabilirsiniz:
RBF çekirdeği ile doğrusal olmayan SVM sınıflandırması

Bu cevapta, çekirdek işlevinin ne yapmaya çalıştığını açıklamaya çalışıyorum. Ne yapmaya çalıştığını kavradığınızda, bir takip olarak, Quora'daki bir soruya cevabımı okuyabilirsiniz: https://www.quora.com/Machine-Learning/Why-does-the-RBF- radyal-tabanlı fonksiyon-çekirdek-haritası-içine-sonsuz boyutlu uzay / cevap / Arun-Iyer-1

Quora hesabınız yoksa, Quora'daki cevabın içeriğini çoğaltma.

Soru: RBF (radyal temel işlevi) çekirdeği neden sonsuz boyutlu uzaya eşlenir? Yanıt: ile tanımlanan derecesi 2 olan bir polinom çekirdek dikkate ve .
$k (x, y) = (x^{T} y)^{2}$ $k(x, y) = (x^Ty)^2$ $x, y \in \mathbb{R}^2$ $x = (x_1, x_2), y = (y_1, y_2)$
Böylece çekirdek fonksiyonu şu şekilde yazılabilir: Şimdi, bize bir özellik haritası ile gelip deneyelim çekirdek fonksiyonu olarak yazılabilir şekilde
$k (x, y) = (x_{1} y_{1} + x_{2} y_{2})^{2} = x_{1}^{2} y_{1}^{2} + 2 x_{1} x_{2} y_{1} y_{2} + x_{2}^{2} y_{2}^{2}$ $k(x, y) = (x_1y_1 + x_2y_2)^2 = x_{1}^2y_{1}^2 + 2x_1x_2y_1y_2 + x_{2}^2y_{2}^2$ $\Phi$ . $k(x, y) = \Phi(x)^T\Phi(y)$
Aşağıdaki özelliği ilk göz önünde, Temel olarak, bu özellik harita eşleştirme olan sayınoktalara . Ayrıca,temel olarak çekirdek fonksiyonumuz olan olduğuna dikkat edin.
$Φ (x) = (x_{1}^{2}, \sqrt{2} x_{1} x_{2}, x_{2}^{2})$ $\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$ $\mathbb{R}^2$ $\mathbb{R}^3$ $Φ (x)^{T} Φ (y) = x_{1}^{2} y_{1}^{2} + 2 x_{1} x_{2} y_{1} y_{2} + x_{2}^{2} y_{2}^{2}$ $\Phi(x)^T\Phi(y) = x_1^2y_1^2 + 2x_1x_2y_1y_2 + x_2^2y_2^2$
Çekirdeği de işlev gerçekten iç işlem olup, bu araçlar / noktaların ürün nokta . Yani örtülü bizim noktaları haritasını çıkarıyor, olup için . $\mathbb{R}^3$ $\mathbb{R}^2$ $\mathbb{R}^3$

Alıştırma Sorusu : Puanlarınız , derece 2 olan bir polinom çekirdeği bunu dolaylı olarak bazı vektör uzayına F eşler. Bu vektör uzayının F boyutu nedir? İpucu: Yukarıda yaptığım her şey bir ipucu. $\mathbb{R}^n$

Şimdi, RBF'ye geliyor.

$\mathbb{R}^2$
$k (x, y) = \exp (- ‖ x - y ‖^{2}) = \exp (- (x_{1} - y_{1})^{2} - (x_{2} - y_{2})^{2})$ $k(x, y) = \exp(-\|x - y\|^2) = \exp(- (x_1 - y_1)^2 - (x_2 - y_2)^2)$ $= \exp (- x_{1}^{2} + 2 x_{1} y_{1} - y_{1}^{2} - x_{2}^{2} + 2 x_{2} y_{2} - y_{2}^{2})$ $= \exp(- x_1^2 + 2x_1y_1 - y_1^2 - x_2^2 + 2x_2y_2 - y_2^2)$ $= \exp (- ‖ x ‖^{2}) \exp (- ‖ y ‖^{2}) \exp (2 x^{T} y)$ $= \exp(-\|x\|^2) \exp(-\|y\|^2) \exp(2x^Ty)$ $k (x, y) = \exp (- ‖ x ‖^{2}) \exp (- ‖ y ‖^{2}) \sum_{n = 0}^{\infty} \frac{(2 x^{T} y)^{n}}{n!}$ $k(x, y) = \exp(-\|x\|^2) \exp(-\|y\|^2) \sum_{n = 0}^{\infty} \frac{(2x^Ty)^n}{n!}$ $\Phi$ $\mathbb{R}^2$
Alıştırma Sorusu : Yukarıdaki durum için RBF için özellik haritasının ilk birkaç vektör öğesini al?

Şimdi, yukarıdaki cevaptan bir şey sonuçlandırabiliriz:

$\Phi$
$\Phi$ $\mathbb{R}^2$ $\Phi(x) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)$

— TenaliRaman
kaynak