Gaussian Çekirdeği olan bir SVM'nin sonsuz boyutsal özellik alanına sahip olduğu gerçeğinin ardındaki sezgi nedir?

Bu cevap aşağıdakileri açıklar:

1. Mükemmel ayrım neden her zaman farklı noktalarda ve bir Gauss çekirdeğinde (yeterince küçük bant genişliğinde) mümkündür?
2. Bu ayrımın doğrusal olarak nasıl yorumlanabileceği, ancak yalnızca verilerin yaşadığı alandan farklı bir soyut özellik alanında
3. Veri uzayından özellik boşluğuna nasıl eşleştirilir "bulunur". Spoiler: SVM tarafından bulunmaz, örtük olarak seçtiğiniz çekirdek tarafından tanımlanır.
4. Özellik uzayının neden sonsuz boyutlu olduğu.

1. Mükemmel ayrılık elde etmek

Kusursuz bir karar sınırlamasına yol açan, çekirdeğin konum özellikleri nedeniyle, Gauss çekirdeğiyle (farklı sınıflardan iki puanın tamamen aynı olmaması şartıyla) her zaman mükemmel bir ayrım mümkündür. Yeterince küçük çekirdek bant genişliği için, karar sınırı olumlu ve olumsuz örnekleri ayırmak için gerektiğinde noktaların etrafına küçük daireler çizmiş gibisiniz:

(Kredi: Andrew Ng'nin çevrimiçi makine öğrenim kursu ).

Peki, bu neden matematiksel bir bakış açısıyla gerçekleşiyor?

Standart kurulumu göz önünde bulundurun: Gaussian bir çekirdeğe sahipseniz ve egzersiz veriniz ( x ( 1 ) , y ( 1 ) ) , ( x ( 2 ) , y ( 2 ) ) , … , ( x ( n )$K(\mathbf{x},\mathbf{z}) = \exp(-||\mathbf{x}-\mathbf{z}||^2 / \sigma^2)$ burada y ( i ) değerleri ± 1'dir . Bir sınıflandırıcı işlevi öğrenmek istiyoruz$(\mathbf{x}^{(1)},y^{(1)}), (\mathbf{x}^{(2)},y^{(2)}), \ldots, (\mathbf{x}^{(n)},y^{(n)})$$y^{(i)}$$\pm 1$

$$\hat{y}(\mathbf{x}) = \sum_i w_i y^{(i)} K(\mathbf{x}^{(i)},\mathbf{x})$$

Şimdi nasıl biz hiç ağırlıkları atar ? Sonsuz boyutlu alanlara ve ikinci dereceden bir programlama algoritmasına ihtiyacımız var mı? Hayır, çünkü sadece noktaları mükemmel şekilde ayırabileceğimi göstermek istiyorum. Bu yüzden σ 'yu en küçük ayrılmadan milyar kat daha küçük yaptım | | x ( i ) - x ( j ) | | Herhangi iki eğitim örneği arasında ve sadece w i = 1 olarak ayarladım . Tüm eğitim noktaları birbirinden kadarıyla çekirdek söz konusu olduğunda bir milyar sigma vardır ve her nokta tamamen işaretini kontrol ettiği bu araçlar $w_i$$\sigma$$||\mathbf{x}^{(i)} - \mathbf{x}^{(j)}||$$w_i = 1$$\hat{y}$mahallesinde. Resmen, biz

$$\hat{y}(\mathbf{x}^{(k)}) = \sum_{i=1}^n y^{(k)} K(\mathbf{x}^{(i)},\mathbf{x}^{(k)}) = y^{(k)} K(\mathbf{x}^{(k)},\mathbf{x}^{(k)}) + \sum_{i \neq k} y^{(i)} K(\mathbf{x}^{(i)},\mathbf{x}^{(k)}) = y^{(k)} + \epsilon$$

Burada keyfi olarak küçük bir değerdir. Biliyoruz ε çünkü küçücük x ( k ) bu yüzden herkes için bir milyar sigma uzakta başka bir noktadan olan i ≠ k Elimizdeki$\epsilon$$\epsilon$$\mathbf{x}^{(k)}$$i \neq k$

$$K(\mathbf{x}^{(i)},\mathbf{x}^{(k)}) = \exp(-||\mathbf{x}^{(i)} - \mathbf{x}^{(k)}||^2 / \sigma^2) \approx 0.$$

Yana kadar küçüktür ki, y ( x ( k ) ) kesinlikle işaretine y ( k ) ve sınıflandırıcı eğitim verilerine mükemmel doğruluk başarır.$\epsilon$$\hat{y}(\mathbf{x}^{(k)})$$y^{(k)}$

2. Çekirdek SVM doğrusal ayrılma olarak öğrenme

Bunun “sonsuz boyutlu bir özellik uzayında mükemmel lineer ayrılık” olarak yorumlanabilmesi gerçeği, çekirdeği hileden gelir ve çekirdeği (potansiyel olarak sonsuz boyutlu) bir özellik uzayında bir iç ürün olarak yorumlamanıza izin verir:

$$K(\mathbf{x}^{(i)},\mathbf{x}^{(j)}) = \langle\Phi(\mathbf{x}^{(i)}),\Phi(\mathbf{x}^{(j)})\rangle$$

burada özelliği boşluğa veri alanı ile ilgili eşleştirme yapılır. O hemen ardından y ( x ) özelliği alanı doğrusal bir fonksiyonu olarak işlev:$\Phi(\mathbf{x})$$\hat{y}(\mathbf{x})$

$$\hat{y}(\mathbf{x}) = \sum_i w_i y^{(i)} \langle\Phi(\mathbf{x}^{(i)}),\Phi(\mathbf{x})\rangle = L(\Phi(\mathbf{x}))$$

burada doğrusal işlev , v olarak öznitelik uzay vektörlerinde tanımlanır.$L(\mathbf{v})$$\mathbf{v}$

$$L(\mathbf{v}) = \sum_i w_i y^{(i)} \langle\Phi(\mathbf{x}^{(i)}),\mathbf{v}\rangle$$

Bu işlev cinsinden doğrusaldır, çünkü sadece iç ürünlerin sabit vektörlerle doğrusal bir birleşimidir. Özelliği alanı olarak, uygun sınır y ( x ) = 0 , sadece bir L ( v ) = 0 , bir doğrusal fonksiyonu seviyesi grubu. Bu, özellik uzayındaki bir hiper düzlemin tanımıdır.$\mathbf{v}$$\hat{y}(\mathbf{x}) = 0$$L(\mathbf{v}) = 0$

3. Haritalama ve özellik alanını anlama

Not: Bu bölümde, notasyonu, eğitim verilerini değil,rastgele bir n noktakümesini ifade eder. Bu saf matematik; Eğitim verileri bu bölüme hiç dahil değil!$\mathbf{x}^{(i)}$$n$

Çekirdek yöntemler aslında "Bul" veya "hesaplama" özelliği boşluk veya haritalama asla açıkça. SVM gibi çekirdek öğrenme yöntemleri çalışmalarına ihtiyaç duymaz; sadece K çekirdek fonksiyonuna ihtiyaç duyarlar .$\Phi$$K$

Bununla birlikte, için bir formül yazmak mümkündür . Φ Eşleştiren özellik alanı bir tür soyuttur (ve potansiyel olarak sonsuz boyutludur), fakat esasen, haritalama sadece bazı basit özellik mühendisliği yapmak için çekirdeği kullanıyor. Nihai sonuç açısından, çekirdeği kullanarak öğrenmeyi sonlandırdığınız model, doğrusal regresyon ve GLM modellemesinde popüler bir şekilde uygulanan geleneksel özellik mühendisliğinden farklıdır, örneğin bir regresyon formülüne beslenmeden önce pozitif bir tahmin değişkeninin günlüğünü almak gibi. Matematiğin çoğu, çekirdeğin, sparsite ve büyük veri setlerine iyi ölçeklendirme avantajları olan SVM algoritması ile iyi oynamasını sağlamak için sadece oradadır.$\Phi$$\Phi$

Hala ilgileniyorsanız, işte nasıl çalışır. Esasen duraklatma istediğiniz kimliği almak , ve tanım gereği tutan bu şekilde bir boşluk ve iç bir ürünün kurulması. Bunu yapmak için, her vektörün verinin içinde yaşadığı alandan ( X) gerçek sayılara ( R) gerçek bir fonksiyon olduğu bir soyut vektör uzayı ( V) tanımlarız . Bir vektör f de V : çekirdek dilimlerin sonlu doğrusal kombinasyonundan oluşan bir fonksiyonudur f ( $\langle \Phi(\mathbf{x}), \Phi(\mathbf{y}) \rangle = K(\mathbf{x},\mathbf{y})$$V$$\mathcal{X}$$\mathbb{R}$$f$$V$ yazma için uygundur f ve daha kısa bir f = n Σ i = 1 α i K x ( i ) burada K x ( y ) = K ( x , y ), çekirdeğe bir "dilim" veren bir fonksiyonudur x .

$$f(\mathbf{x}) = \sum_{i=1}^n \alpha_i K(\mathbf{x}^{(i)},\mathbf{x})$$ $f$ $$f = \sum_{i=1}^n \alpha_i K_{\mathbf{x}^{(i)}}$$ $K_\mathbf{x}(\mathbf{y}) = K(\mathbf{x},\mathbf{y})$$\mathbf{x}$

Uzaydaki iç ürün sıradan nokta ürün değil, çekirdeğe dayalı soyut bir iç üründür:

$$\langle \sum_{i=1}^n \alpha_i K_{\mathbf{x}^{(i)}}, \sum_{j=1}^n \beta_j K_{\mathbf{x}^{(j)}} \rangle = \sum_{i,j} \alpha_i \beta_j K(\mathbf{x}^{(i)},\mathbf{x}^{(j)})$$

Bu şekilde tanımlanan özellik alanıyla, , her noktayı x'i "çekirdek dilimine" götüren bir haritalama X → V'dir :$\Phi$$\mathcal{X} \rightarrow V$$\mathbf{x}$

$$\Phi(\mathbf{x}) = K_\mathbf{x}, \quad \text{where} \quad K_\mathbf{x}(\mathbf{y}) = K(\mathbf{x},\mathbf{y}).$$

K , pozitif bir çekirdek olduğunda , bir iç çarpım alanı olduğunu kanıtlayabilirsiniz . Ayrıntılar için bu makaleye bakın. (Bu şeye işaret ettiği için şüphe eder!)$V$$K$

4. Özellik alanı neden sonsuz boyutlu?

Bu cevap güzel bir lineer cebir açıklaması verir, ancak işte hem sezgiyle hem de kanıtla geometrik bir bakış açısı.

Sezgi

Herhangi bir sabit nokta , bir çekirdek dilimi işlevine sahibiz K z ( x ) = K ( z , x ) . Grafiği K z sadece bir Gauss yumru merkezlenmiş olan $\mathbf{z}$$K_\mathbf{z}(\mathbf{x}) = K(\mathbf{z},\mathbf{x})$$K_\mathbf{z}$$\mathbf{z}$. Şimdi, eğer özellik alanı sadece sonlu boyutta olsaydı, bu, sabit bir nokta kümesinde sonlu bir çarpma kümesi alabileceğimiz ve başka herhangi bir yerde herhangi bir Gauss yumru oluşturabileceğimiz anlamına gelirdi. Ama açıkça bunu yapmamızın bir yolu yok; eski yumrulardan yeni bir yumru yapamazsınız, çünkü yeni yumru eskilerden çok uzak olabilir. Bu yüzden, ne kadar özellik vektörümüze (çarpmalara) sahip olursak olalım, daima yeni tümsekler ekleyebiliriz ve özellik alanında bunlar yeni bağımsız vektörlerdir. Dolayısıyla özellik alanı sonlu boyutlu olamaz; sonsuz olması gerekiyor.

Kanıt

İndüksiyon kullanıyoruz. Diyelim ki noktalarından oluşan bir dizi noktaya sahip olmalısınız, öyle ki Φ ( x ( i ) ) vektörleri özellik alanında doğrusal olarak bağımsızdır. Şimdi bu n noktalarından farklı bir nokta x ( n + 1 ) , aslında hepsinden bir milyar sigma uzakta bulun. Claim ( x ( n + 1 ) ) ' olduğunu iddia ediyoruz.$\mathbf{x}^{(1)}, \mathbf{x}^{(2)}, \ldots, \mathbf{x}^{(n)}$$\Phi(\mathbf{x}^{(i)})$$\mathbf{x}^{(n+1)}$$n$$\Phi(\mathbf{x}^{(n+1)})$ilk özellik vektörlerinden Φ ( x ( i ) ) doğrusal olarak bağımsızdır .$n$$\Phi(\mathbf{x}^{(i)})$

Çelişki ile kanıt. Aksine olduğunu varsayalım

$$\Phi(\mathbf{x}^{(n+1)}) = \sum_{i=1}^n \alpha_i \Phi(\mathbf{x}^{(i)})$$

Şimdi her iki taraftan da iç ürünü isteğe bağlı . Kimlik ile ⟨ Φ ( z ) , Φ ( x ) ⟩ = K ( Z , X ) elde ederiz$\mathbf{x}$$\langle \Phi(\mathbf{z}), \Phi(\mathbf{x}) \rangle = K(\mathbf{z},\mathbf{x})$

$$K(\mathbf{x}^{(n+1)},\mathbf{x}) = \sum_{i=1}^n \alpha_i K(\mathbf{x}^{(i)},\mathbf{x})$$

Burada serbest bir değişkendir, bu nedenle bu denklem iki fonksiyonun aynı olduğunu belirten bir kimliktir. Özellikle, x ( n + 1 ) merkezli bir Gaussian'ın diğer noktalardaki x ( i ) Gaussların lineer bir kombinasyonu olarak gösterilebileceğini söylüyor . Geometrik olarak apaçık olarak, diğer tüm merkezlere çarpılmış bir Gauss çarpma kombinasyonundan, özellikle diğer bütün Gauss çarpmalarının bir milyar sigma olduğu durumlarda, bir noktada merkezlenmiş bir Gauss yumrularının diğer noktalarda ortalanmış bir Gauss yumruları oluşturamayacağı açıktır. Dolayısıyla, lineer bağımlılık varsayımımız, gösterdiğimiz gibi bir çelişkiye yol açtı.$\mathbf{x}$$\mathbf{x}^{(n+1)}$$\mathbf{x}^{(i)}$

Gauss çekirdeğin çekirdek matrisi farklı için her zaman tam sırası vardır . Bu, her yeni bir örnek eklediğinizde, rütbenin 1 kat arttığı anlamına gelir . Eğer σ ayarını çok küçük yaparsanız bunu görmenin en kolay yolu . O zaman çekirdek matrisi neredeyse köşegendir.$\mathbf x_1,...,\mathbf x_m$$1$$\sigma$

Rütbenin her zaman bir artış göstermesi , özellik uzayındaki projeksiyonlarının doğrusal olarak bağımsız (dikey değil, bağımsız) olduğu anlamına gelir. Bu nedenle, her örnek, ions ( x 1 ) , çıkıntılarının aralığına yeni bir boyut ekler . . . , Φ ( x m ) . Sayısız şekilde sonsuz sayıda örnek ekleyebildiğiniz için, özellik alanı sonsuz boyutta olmalıdır. İlginçtir ki, giriş boşluğunun özellik boşluğuna projeksiyonları bir küre üzerinde yatmaktadır, çünkü | | Φ ( x ) | $\Phi(\mathbf x)$$\Phi(\mathbf x_1),...,\Phi(\mathbf x_m)$. Bununla birlikte, kürenin geometrisi düzdür. Bu konuda daha fazla okuyabilirsiniz$||\Phi(\mathbf x)||_{\mathcal H}^²=k(\mathbf x,\mathbf x)=1$

Burges, CJC (1999). Çekirdek Bazlı Yöntemlerde Geometri ve Değişmezlik. B. Schölkopf, CJC Burges ve AJ Smola (Eds.), Çekirdek Metodlarındaki Gelişmeler Vektör Öğrenmeyi Desteklemektedir (s. 89-116). MIT tuşuna basın.

Geçmiş ve notasyonlar için cevaba bakınız. Karar sınırlarını destek vektörlerinden nasıl hesaplayabilirim? .

Bu nedenle, 'orijinal' uzayda bulunan özellikler vektörleri , ikili sonuç y i ∈ { - 1 , + 1 } ve Lagrange çarpanları α i'dir .$x_i$$y_i \in \{-1, +1\}$$\alpha_i$

Bu çekirdek olarak yazılabilir bilinmektedir ( ' ⋅ ' iç çarpımı temsil eder.) Burada Φ yeni bir özellik olan, bir (kapalı ve bilinmeyen) dönüşümdür alanı.$K(x,y)=\Phi(x) \cdot \Phi(y)$$\cdot$$\Phi$

Bazı vermeye çalışacaktır 'sezgisel' açıklama bu ne Bu cevap Resmi kanıt yani, sadece istediği, bakışlar gibi bu eserlerin düşünüyorum nasıl bazı hissi verir. Hatalıysam beni düzeltmekte tereddüt etmeyin. Açıklamamın temeli bu pdf’in 2.2.1.$\Phi$

Özellik alanımı (bu yüzden ) doğrusal ayrımın çözüleceği bazı 'yeni' özellik alanlarına dönüştürmeliyim.$x_i$

$x_i$$\phi_i(x)=K(x_i,x)$$\phi_i$$\phi_i$$\phi_i$$V=span(\phi_{i, i=1,2,\dots N})$$N$ Eğitim örneğinin büyüklüğü).

$V$$V$$\phi_i$$\sum_{i=1}^N \gamma_i \phi_i$$\gamma_i$$V=\{v=\sum_{i=1}^N \gamma_i \phi_i|(\gamma_1,\gamma_2,\dots\gamma_N) \in \mathbb{R}^N \}$

Note that $(\gamma_1,\gamma_2,\dots\gamma_N)$ are the coordinates of vector $v$ in the vector space $V$.

$N$ is the size of the training sample and therefore the dimension of the vector space $V$ can go up to $N$, depending on whether the $\phi_i$ are linear independent. As $\phi_i(x)=K(x_i,x)$ (see supra, we defined $\phi$ in this way), this means that the dimension of $V$ depends on the kernel used and can go up to the size of the training sample.

If the kernel is 'complex enough' then the $\phi_i(x)=K(x_i, x)$ will all be independent and then the dimension of $V$ will be $N$, the size of the training sample.

The transformation, that maps my original feature space to $V$ is defined as

$\Phi: x_i \to \phi_i(x)=K(x_i, x)$.

This map $\Phi$ maps my original feature space onto a vector space that can have a dimension that goes up to the size of my training sample. So $\Phi$ maps each observation in my training sample into a vector space where the vectors are functions. The vector $x_i$ from my training sample is 'mapped' to a vector in $V$, namely the vector $\phi_i$ with coordinates all equal to zero, except the $i$-th coordinate is 1.

Obviously, this transformation (a) depends on the kernel, (b) depends on the values $x_i$ in the training sample and (c) can, depending on my kernel, have a dimension that goes up to the size of my training sample and (d) the vectors of $V$ look like $\sum_{i=1}^N \gamma_i \phi_i$, where $\gamma_i$ are real numbers.

Looking at the function $f(x)$ in How to calculate decision boundary from support vectors? it can be seen that $f(x)=\sum_i y_i \alpha_i \phi_i(x)+b$. The decision boundary found by the SVM is $f(x)=0$.

In other words, $f(x)$ is a linear combination of the $\phi_i$ and $f(x)=0$ is a linear separating hyperplane in the $V$-space : it is a particular choice of the $\gamma_i$ namely $\gamma_i=\alpha_i y_i$ !

The $y_i$ are known from our observations, the $\alpha_i$ are the Lagrange multipliers that the SVM has found. In other words SVM find, through the use of a kernel and by solving a quadratic programming problem, a linear separation in the $V$-spave.

This is my intuitive understanding of how the 'kernel trick' allows one to 'implicitly' transform the original feature space into a new feature space $V$, with a different dimension. This dimension depends on the kernel you use and for the RBF kernel this dimension can go up to the size of the training sample. As training samples may have any size this could go up to 'infinite'. Obviously, in very high dimensional spaces the risk of overfitting will increase.

So kernels are a technique that allows SVM to transform your feature space , see also What makes the Gaussian kernel so magical for PCA, and also in general?

Ne yazık ki, fcop'un açıklaması oldukça yanlış. Öncelikle “Çekirdeğin yeni bir özellik alanına (örtük ve bilinmeyen) bir dönüşüm olduğu ... olarak yazılabildiği bilinmektedir. Bilinmiyor. Bu aslında özelliklerin haritalandığı alandır ve bu RBF örneğinde olduğu gibi sonsuz boyutlu olabilecek alandır. Çekirdeğin yaptığı, bir eğitim örneğinin dönüştürülmüş bir özellik vektörüyle dönüştürülmüş özellik vektörünün iç çarpımını almak ve sonuçta bir işlev uygular. Bu nedenle örtük olarak bu daha yüksek boyutlu özellik vektörünü temsil eder. Örneğin, x ^ 2 + 2xy + y ^ 2 yerine (x + y) ^ 2 yazmayı düşünün. Şimdi hangi sonsuz dizinin üstel fonksiyonla örtük olarak temsil edildiğini bir düşünün ... orada sonsuz özellik alanınız var.

SVM'leri düşünmenin doğru yolu, özelliklerinizi, eğitim seti büyüklüğü kadar büyük olabilen, başka bir sonlu boyutlu "Çekirdek" özellik alanında dolaylı olarak gösterilebilecek, sonsuz boyutsal bir boyutsal özellik alanıyla eşleştirmenizdir.