Çekirdek SVM'lerin arkasındaki sezgiyi anlamaya çalışıyorum. Şimdi, doğrusal SVM'nin nasıl çalıştığını anlıyorum, böylece verileri olabildiğince bölen bir karar satırı hazırlanıyor. Verileri daha yüksek boyutlu bir alana taşıma arkasındaki ilkeyi ve bunun bu yeni alanda doğrusal bir karar çizgisi bulmayı nasıl kolaylaştırabileceğini de anlıyorum. Anlamadığım şey, veri noktalarını bu yeni alana yansıtmak için bir çekirdeğin nasıl kullanıldığıdır.

Bir çekirdek hakkında bildiğim, etkin bir şekilde iki veri noktası arasındaki "benzerliği" temsil etmesidir. Peki bu projeksiyonla nasıl bir ilişkisi var?

Let yüksek boyut boşluğuna çıkıntı olması . Temel olarak, iç ürün olan çekirdek işlevi . Bu yüzden veri noktalarını yansıtmak için değil, projeksiyonun bir sonucu. Bir benzerlik ölçüsü olarak düşünülebilir, ancak bir SVM'de bundan daha fazlasıdır.K K ( X 1 , x 2 ) = ⟨ h ( x 1 ) , h ( x 2 ) $h(x)$$\mathcal{F}$$K(x_1,x_2)=\langle h(x_1),h(x_2)\rangle$

da en iyi ayırıcı köprüyü bulmak için yapılan optimizasyon , sadece iç ürün formuyla içerir. Yani, biliyorsanız, nin tam biçimini bilmeniz gerekmez , bu da optimizasyonu kolaylaştırır. h ( x ) K ( ⋅ , ⋅ ) h ( x $\mathcal{F}$$h(x)$$K(\cdot,\cdot)$$h(x)$

Her çekirdek karşılık gelen bir değerine de sahiptir. Bu çekirdeğe sahip bir SVM kullanıyorsanız, öğesinin alandaki doğrusal karar satırını dolaylı olarak bulursunuz .h ( x ) h ( x $K(\cdot,\cdot)$$h(x)$$h(x)$

İstatistiksel Öğrenme Unsurlarının 12. Bölümü SVM'ye kısa bir giriş niteliğindedir. Bu, çekirdek ve özellik eşleme arasındaki bağlantı hakkında daha ayrıntılı bilgi verir: http://statweb.stanford.edu/~tibs/ElemStatLearn/

Çekirdek SVM'nin yararlı özellikleri evrensel değildir - çekirdek seçimine bağlıdır. Sezgiyi elde etmek için en sık kullanılan çekirdeklerden birine, Gauss çekirdeğine bakmak faydalıdır. Dikkat çekici bir şekilde, bu çekirdek SVM'yi k'ye en yakın komşu sınıflandırıcıya çok benziyor.

Bu cevap aşağıdakileri açıklar:

1. Pozitif ve negatif eğitim verilerinin mükemmel şekilde ayrılması, yeterince küçük bir bant genişliği olan Gauss çekirdeği ile neden her zaman mümkündür (aşırı sığdırma pahasına)
2. Bu ayrımın bir özellik alanında doğrusal olarak nasıl yorumlanabileceği.
3. Çekirdek, veri alanından özellik alanına eşleme oluşturmak için nasıl kullanılır. Spoiler: Özellik alanı, çekirdeğe dayanan alışılmadık bir soyut iç ürünle çok matematiksel olarak soyut bir nesnedir.

1. Mükemmel ayrılma elde etmek

Gauss çekirdeği ile, keyfi olarak esnek bir karar sınırına yol açan çekirdeğin yerellik özellikleri nedeniyle mükemmel bir ayrılma her zaman mümkündür. Yeterince küçük çekirdek bant genişliği için, karar sınırı, olumlu ve olumsuz örnekleri ayırmak için gerektiğinde noktaların etrafına küçük daireler çizmiş gibi görünecektir:

(Kredi: Andrew Ng'in çevrimiçi makine öğrenimi kursu ).

Peki, bu neden matematiksel açıdan ortaya çıkıyor?

Standart kurulumu düşünün: Gauss çekirdeği ve egzersiz verileriniz ( x ( 1 ) , y ( 1 ) ) , ( x ( 2 ) , y ( 2 ) ) , … , ( x ( n )$K(\mathbf{x},\mathbf{z}) = \exp(- ||\mathbf{x}-\mathbf{z}||^2 / \sigma^2)$ burada y ( i ) değerleri ± 1'dir . Sınıflandırıcı fonksiyonunu öğrenmek istiyoruz$(\mathbf{x}^{(1)},y^{(1)}), (\mathbf{x}^{(2)},y^{(2)}), \ldots, (\mathbf{x}^{(n)},y^{(n)})$$y^{(i)}$$\pm 1$

$$\hat{y}(\mathbf{x}) = \sum_i w_i y^{(i)} K(\mathbf{x}^{(i)},\mathbf{x})$$

Şimdi nasıl biz hiç ağırlıkları atar ? Sonsuz boyutlu uzaylara ve ikinci dereceden bir programlama algoritmasına ihtiyacımız var mı? Hayır, çünkü sadece noktaları mükemmel şekilde ayırabileceğimi göstermek istiyorum. Bu yüzden σ'yı en küçük ayrımdan milyar kat daha küçük yapıyorum | | x ( i ) - x ( j ) | | herhangi iki eğitim örnekleri arasında, ve sadece belirlenen ağırlık ı = 1 . Tüm eğitim noktaları birbirinden kadarıyla çekirdek söz konusu olduğunda bir milyar sigma vardır ve her nokta tamamen işaretini kontrol ettiği bu araçlar $w_i$$\sigma$$||\mathbf{x}^{(i)} - \mathbf{x}^{(j)}||$$w_i = 1$$\hat{y}$mahallesinde. Resmi olarak,

$$\hat{y}(\mathbf{x}^{(k)}) = \sum_{i=1}^n y^{(k)} K(\mathbf{x}^{(i)},\mathbf{x}^{(k)}) = y^{(k)} K(\mathbf{x}^{(k)},\mathbf{x}^{(k)}) + \sum_{i \neq k} y^{(i)} K(\mathbf{x}^{(i)},\mathbf{x}^{(k)}) = y^{(k)} + \epsilon$$

burada keyfi olarak küçük bir değerdir. Biliyoruz ε çünkü küçücük x ( k ) bu yüzden herkes için bir milyar sigma uzakta başka bir noktadan olan i ≠ k Elimizdeki$\epsilon$$\epsilon$$\mathbf{x}^{(k)}$$i \neq k$

$$K(\mathbf{x}^{(i)},\mathbf{x}^{(k)}) = \exp(- ||\mathbf{x}^{(i)} - \mathbf{x}^{(k)}||^2 / \sigma^2) \approx 0.$$

Yana kadar küçüktür ki, y ( x ( k ) ) kesinlikle işaretine y ( k ) ve sınıflandırıcı eğitim verilerine mükemmel doğruluk başarır. Pratikte bu aşırı derecede uygun olurdu, ancak Gauss çekirdeği SVM'nin muazzam esnekliğini ve en yakın komşu sınıflandırıcıya çok benzer şekilde nasıl hareket edebileceğini gösteriyor.$\epsilon$$\hat{y}(\mathbf{x}^{(k)})$$y^{(k)}$

2. Doğrusal ayırma olarak çekirdek SVM öğrenimi

Bunun "sonsuz boyutlu bir özellik alanında mükemmel doğrusal ayırma" olarak yorumlanabilmesi, çekirdeği soyut bir iç ürün olarak yeni bir özellik alanı olarak yorumlamanızı sağlayan çekirdek hilesinden gelir:

$$K(\mathbf{x}^{(i)},\mathbf{x}^{(j)}) = \langle\Phi(\mathbf{x}^{(i)}),\Phi(\mathbf{x}^{(j)})\rangle$$

burada , veri alanından özellik alanına eşleme anlamına gelir. O hemen ardından y ( x ) özelliği alanı doğrusal bir fonksiyonu olarak işlev:$\Phi(\mathbf{x})$$\hat{y}(\mathbf{x})$

$$\hat{y}(\mathbf{x}) = \sum_i w_i y^{(i)} \langle\Phi(\mathbf{x}^{(i)}),\Phi(\mathbf{x})\rangle = L(\Phi(\mathbf{x}))$$

doğrusal işlev burada özelliği tanımlanır uzay vektörleri v olarak$L(\mathbf{v})$$\mathbf{v}$

$$L(\mathbf{v}) = \sum_i w_i y^{(i)} \langle\Phi(\mathbf{x}^{(i)}),\mathbf{v}\rangle$$

Bu fonksiyon cinsinden lineerdir, çünkü sabit vektörlere sahip iç ürünlerin doğrusal bir kombinasyonudur. Özelliği alanı olarak, uygun sınır y ( x ) = 0 , sadece bir L ( v ) = 0 , bir doğrusal fonksiyonu seviyesi grubu. Bu, özellik uzayındaki bir hiper düzlemin tanımıdır.$\mathbf{v}$$\hat{y}(\mathbf{x}) = 0$$L(\mathbf{v}) = 0$

3. Çekirdek özellik alanını oluşturmak için nasıl kullanılır?

Çekirdek yöntemleri aslında özellik alanını veya eşlemeyi açıkça "bulmaz" veya "hesaplamaz" . SVM gibi çekirdek öğrenme yöntemlerinin çalışmasına gerek yoktur; sadece çekirdek fonksiyonu K'ye ihtiyaç duyarlar . Φ için bir formül yazmak mümkündür, ancak eşlendiği özellik alanı oldukça soyuttur ve sadece SVM ile ilgili teorik sonuçları kanıtlamak için kullanılır. Hâlâ ilgileniyorsanız, işte böyle çalışır.$\Phi$$K$$\Phi$

Temel olarak bir arka vektör uzayı tanımlayan , her vektörü, bir fonksiyonudur X için R . Bir vektör f de V çekirdek dilimlerinin sonlu doğrusal kombinasyonundan oluşan bir fonksiyonudur: f ( x ) = n Σ i = 1 α i K ( x ( i ) , x ) burada ( x ( i ) sadece bir keyfi puan kümesi ve eğitim seti ile aynı olması gerekmez.) f yazmak uygundur$V$$\mathcal{X}$$\mathbb{R}$$f$$V$

$$f(\mathbf{x}) = \sum_{i=1}^n \alpha_i K(\mathbf{x}^{(i)},\mathbf{x})$$ $\mathbf{x}^{(i)}$$f$daha kompakt olarak burada K x ( y ) = K ( x , y ) , x'de çekirdeğin "dilimini" veren bir işlevdir . $$f = \sum_{i=1}^n \alpha_i K_{\mathbf{x}^{(i)}}$$ $K_\mathbf{x}(\mathbf{y}) = K(\mathbf{x},\mathbf{y})$$\mathbf{x}$

Mekandaki iç ürün sıradan nokta ürünü değil, çekirdeğe dayanan soyut bir iç üründür:

$$\langle \sum_{i=1}^n \alpha_i K_{\mathbf{x}^{(i)}}, \sum_{j=1}^n \beta_j K_{\mathbf{x}^{(j)}} \rangle = \sum_{i,j} \alpha_i \beta_j K(\mathbf{x}^{(i)},\mathbf{x}^{(j)})$$

Bu tanım çok kasıtlı: inşaat biz doğrusal ayrılması için gereken kimlik sağlamaktadır .$\langle \Phi(\mathbf{x}), \Phi(\mathbf{y}) \rangle = K(\mathbf{x},\mathbf{y})$

Bu şekilde tanımlanan özellik alanı ile bir eşleme olan X → V her nokta alarak x o noktada "çekirdek dilim" için:$\Phi$$\mathcal{X} \rightarrow V$$\mathbf{x}$

$$\Phi(\mathbf{x}) = K_\mathbf{x}, \quad \text{where} \quad K_\mathbf{x}(\mathbf{y}) = K(\mathbf{x},\mathbf{y}).$$

K pozitif bir çekirdek olduğunda bir iç ürün alanı olduğunu kanıtlayabilirsiniz . Ayrıntılar için bu makaleye bakın.$V$$K$

Arka plan ve gösterimler için Destek vektörlerinden karar sınırını nasıl hesaplayabilirim? .

'Orijinal' uzaydaki özellikler vektörleri , ikili sonuç y i ∈ { - 1 , + 1 } ve Lagrange çarpanları α i'dir .$x_i$$y_i \in \{-1, +1\}$$\alpha_i$

@Lii (+1) ile söylendiği gibi Çekirdek (' ⋅ ' iç ürünü temsil eder ) olarak yazılabilir .$K(x,y)=h(x) \cdot h(y)$$\cdot$

Bazı vermeye çalışacaktır 'sezgisel' açıklama bu ne Bu cevap Resmi kanıt yani, sadece istediği, bakışlar gibi bu eserlerin düşünüyorum nasıl bazı hissi verir. Yanılıyorsam beni düzeltmekte tereddüt etmeyin.$h$

Özellik alanımı (böylece benim ) doğrusal ayrılmanın çözüleceği bazı 'yeni' özellik alanına 'dönüştürmeliyim.$x_i$

$x_i$$\phi_i(x)=K(x_i,x)$$\phi_i$$\phi_i$$\phi_i$$V=span(\phi_{i, i=1,2,\dots N})$

$V$$\phi_i$$\sum_{i=1}^N \gamma_i \phi_i$$\gamma_i$

$N$$V$$N$$\phi_i$$\phi_i(x)=K(x_i,x)$$\phi$$V$

Orijinal özellik alanımı eşleyen dönüşüm,$V$

$\Phi: x_i \to \phi(x)=K(x_i, x)$

$\Phi$

$x_i$$V$$\sum_{i=1}^N \gamma_i \phi_i$$\gamma_i$$\gamma_i$

$f(x)$$f(x)=\sum_i y_i \alpha_i \phi_i(x)+b$

$f(x)$$\phi_i$$\gamma_i$$\gamma_i=\alpha_i y_i$

$y_i$$\alpha_i$$V$

$V$

Çekirdekler, SVM'nin özellik alanınızı dönüştürmesine izin veren bir tekniktir, ayrıca bkz . Gauss çekirdeğini PCA için bu kadar büyülü yapan nedir ve genel olarak?

Tahminleri (giriş verileri) yüksek boyutlu bir özellik alanına dönüştürün. Bu adım için sadece çekirdeği belirtmek yeterlidir ve veriler hiçbir zaman açıkça özellik alanına dönüştürülmez. Bu işlem yaygın olarak çekirdek numarası olarak bilinir.

$x$$\phi(x)$

$x$$\phi$$\phi$$\phi(x_i)^T\phi(x)$$x_i$$x$

İlgili bir soru var Güzel bir cevap olan Gauss çekirdeği için özellik haritası /stats//a/69767/86202 .

$K(x_i,x)=\phi(x_i)^T\phi(x)$$x$$\phi$

Daha yüksek bir boyuta eşleme, yalnızca orijinal boyutta tanımlanan bir sorunu çözme hilesidir; bu nedenle, çok fazla serbestlik derecesine sahip bir boyuta geçerek verilerinizi aşırı sığdırma gibi endişeler haritalama sürecinin bir yan ürünü değil, sorun tanımınızın doğasında vardır.

Temel olarak, eşlemenin yaptığı tek şey, orijinal boyuttaki koşullu sınıflandırmayı daha yüksek boyuttaki bir düzlem tanımına dönüştürmektir ve daha yüksek boyuttaki düzlem ile alt boyuttaki koşullarınız arasında 1'e 1 ilişki olduğundan, her zaman ikisi arasında hareket.

Aşırı takılma sorununu açıkça ele alarak, her bir gözlemi kendi sınıfına izole etmek için yeterli koşulları tanımlayarak herhangi bir gözlem setini geçersiz kılabilirsiniz, bu da verilerinizi n'nin gözlemlerinizin sayısı olduğu (n-1) D .

2D boyuta geçip verilerinizi bir satırla ayırarak gözlemlerinizin [[1, -1], [0,0], [1,1]] [[özellik, değer]] olduğu en basit problemi ele almak , sadece feature < 1 && feature > -1 : 0içinden geçen bir çizgiyi tanımlamanın koşullu sınıflandırmasını dönüştürüyorsunuz (-1 + epsilon, 1 - epsilon). Daha fazla veri noktanız varsa ve daha fazla koşula ihtiyacınız varsa, tanımladığınız her yeni koşulla daha yüksek boyutunuza bir derece daha özgürlük eklemeniz gerekir.

Daha yüksek bir boyuta eşleme sürecini, yeni probleminizin koşulları ve serbestlik dereceleri arasında 1'e 1 ilişki sağlayan herhangi bir işlemle değiştirebilirsiniz. Çekirdek hileleri bunu yapar.