Birçok makine öğrenme sınıflandırıcısı (örneğin, destek vektör makineleri) bir tanenin bir çekirdek belirtmesine izin verir. Bir çekirdeğin ne olduğunu açıklamanın sezgisel bir yolu ne olurdu?

Düşündüğüm bir yön, doğrusal ve doğrusal olmayan çekirdekler arasındaki ayrımdır. Basit bir ifadeyle, 'doğrusal karar fonksiyonları' ndan bir 'doğrusal olmayan karar fonksiyonlarından' bahsedebilirim. Ancak, bir çekirdeği 'karar işlevi' olarak adlandırmanın iyi bir fikir olup olmadığından emin değilim.

Öneriler?

Çekirdek, iki vektörün ve y nokta ürününü bazı (muhtemelen çok yüksek boyutlu) özellik uzayında hesaplamanın bir yoludur , bu yüzden çekirdek işlevlerine bazen "genelleştirilmiş nokta ürün" denir.$\mathbf x$$\mathbf y$

Bir eşlememiz olduğunu varsayalım bizim vektörleri getiren Ar n bazı özellik uzay için R m . Daha sonra,bu boşluktaki x ve y nokta ürünüφ( x ) T φ( y ) olur. Bir çekirdek,bu nokta ürününe karşılık gelenbirkişlevidir, yanik( x , y )=φ( x ) T φ( y ).$\varphi \, : \, \mathbb R^n \to \mathbb R^m$$\mathbb R^n$$\mathbb R^m$$\mathbf x$$\mathbf y$$\varphi(\mathbf x)^T \varphi(\mathbf y)$$k$$k(\mathbf x, \mathbf y) = \varphi(\mathbf x)^T \varphi(\mathbf y)$

Bu neden faydalıdır? Çekirdekler bile bu uzay ne olduğunu bilmeden bazı özellik uzayda nokta ürünlerini hesaplamak için bir yol vermek ve ne .$\varphi$

Örneğin, basit bir polinom çekirdek dikkate ile x , y ∈ R 2 . Bu, herhangi bir eşleme fonksiyonu karşılık görünmüyor cp sadece gerçek sayı döndüren bir fonksiyon var. Varsayarak bu X = ( x 1 , x 2 ) ve y = ( y 1 , y 2 ) , bunu ifade genişlemesine izin:$k(\mathbf x, \mathbf y) = (1 + \mathbf x^T \mathbf y)^2$$\mathbf x, \mathbf y \in \mathbb R^2$$\varphi$$\mathbf x = (x_1, x_2)$$\mathbf y = (y_1, y_2)$

$\begin{align} k(\mathbf x, \mathbf y) & = (1 + \mathbf x^T \mathbf y)^2 = (1 + x_1 \, y_1 + x_2 \, y_2)^2 = \\ & = 1 + x_1^2 y_1^2 + x_2^2 y_2^2 + 2 x_1 y_1 + 2 x_2 y_2 + 2 x_1 x_2 y_1 y_2 \end{align}$

Bunun iki vektör arasındaki bir nokta ürününden başka bir şey olmadığını unutmayın $(1, x_1^2, x_2^2, \sqrt{2} x_1, \sqrt{2} x_2, \sqrt{2} x_1 x_2)$$(1, y_1^2, y_2^2, \sqrt{2} y_1, \sqrt{2} y_2, \sqrt{2} y_1 y_2)$$\varphi(\mathbf x) = \varphi(x_1, x_2) = (1, x_1^2, x_2^2, \sqrt{2} x_1, \sqrt{2} x_2, \sqrt{2} x_1 x_2)$$k(\mathbf x, \mathbf y) = (1 + \mathbf x^T \mathbf y)^2 = \varphi(\mathbf x)^T \varphi(\mathbf y)$

$k(\mathbf x, \mathbf y) = \exp\big(- \gamma \, \|\mathbf x - \mathbf y\|^2 \big)$$\varphi$

Son olarak, çekirdek tabanlı yöntemlere iyi bir giriş olarak Profesör Yaser Abu-Mostafa tarafından çevrimiçi bir "Veriden Öğrenme" kursu öneririm . Özellikle, "Destek Vektör Makineleri" , "Çekirdek Yöntemleri" ve "Radyal Temel Fonksiyonlar" dersleri çekirdeklerle ilgilidir.

Çekirdekler hakkında düşünmenin çok basit ve sezgisel bir yolu (en azından SVM'ler için) benzerlik bir fonksiyondur. İki nesne göz önüne alındığında, çekirdek bazı benzerlik puanı verir. Nesneler, iki tamsayıdan başlayarak, iki gerçek değerli vektörden, çekirdek fonksiyonunun onları nasıl karşılaştıracağını bilmesini şart koşarsa, ağaçlardan herhangi biri olabilir.

Tartışılabilir şekilde en basit örnek, nokta-ürün olarak da adlandırılan doğrusal çekirdek. İki vektör verildiğinde, benzerlik bir vektörün diğerine projeksiyonunun uzunluğu.

Bir başka ilginç çekirdek örneği de Gaussian çekirdeğidir. İki vektör verildiğinde, benzerlik yarıçapı ile azalacaktır . İki cisim arasındaki mesafe bu yarıçap parametresi tarafından "yeniden sıkılır".$\sigma$

Çekirdeklerle öğrenmenin başarısı (yine, en azından SVM'ler için), çekirdeğin seçimine büyük ölçüde bağlıdır. Sınıflandırma probleminiz hakkındaki bilginin kompakt bir temsili olarak bir çekirdeği görebilirsiniz. Çok sık soruna özgüdür.

Çekirdek kullanılan bu yana bir çekirdeğe bir karar işlevi demem içindeki karar fonksiyonu. Sınıflandırılacak bir veri noktası verildiğinde, karar işlevi, bu veri noktasını, öğrenilen parametreler tarafından ağırlıklandırılan birkaç destek vektörüyle karşılaştırarak çekirdeği kullanır . Destek vektörleri bu veri noktasının alanındadır ve öğrenilen parametreler boyunca öğrenme algoritması tarafından bulunur.$\alpha$$\alpha$

Sezgiye yardımcı olmak için görsel bir örnek

Sarı ve mavi noktaların iki boyutta doğrusal olarak açıkça ayrılmadığı aşağıdaki veri setini göz önünde bulundurun.

Bu noktaların doğrusal olarak ayrılabildiği daha yüksek boyutlu bir boşluk bulabilirsek , aşağıdakileri yapabiliriz:

• Orijinal özellikleri daha yüksek, dönüştürücü alanla eşleştirin (özellik eşlemesi)
• Bu daha yüksek alanda lineer SVM gerçekleştirin
• Karar sınırı hiper düzlemine karşılık gelen bir dizi ağırlık elde edin
• Doğrusal olmayan bir karar sınırı elde etmek için bu hiper düzlemi orijinal 2D uzaya tekrar eşleyin

Bu noktaların doğrusal olarak ayrılabildiği birçok yüksek boyut alanı vardır. İşte bir örnek

$$x_1, x_2 : \rightarrow z_1, z_2, z_3$$ $$z_1 = \sqrt{2}x_1x_2 \ \ z_2 = x_1^2 \ \ z_3 = x_2^2$$

Bu, Çekirdek numarasının devreye girdiği yerdir. Yukarıdaki harika cevaplardan alıntı

Varsayalım ki vektörlerimizi de bazı özellik alanına getirir . Ardından bu alandaki ve nokta ürünleri . Bir çekirdek, bu nokta ürününe karşılık gelen bir işlevidir , yani$\varphi \, : \, \mathbb R^n \to \mathbb R^m$$\mathbb R^n$$\mathbb R^m$$\mathbf x$$\mathbf y$$\varphi(\mathbf x)^T \varphi(\mathbf y)$$k$$k(\mathbf x, \mathbf y) = \varphi(\mathbf x)^T \varphi(\mathbf y)$

Yukarıdaki özellik haritasına eşdeğer bir çekirdek işlevi bulabilirsek, çekirdek işlevini doğrusal SVM'ye takıp hesaplamaları çok verimli bir şekilde yapabiliriz.

Polinom çekirdeği

Yukarıdaki özellik haritasının iyi bilinen polinom çekirdeğine karşılık geldiği ortaya çıktı : . Let ve elde ederiz$K(\mathbf{x},\mathbf{x'}) = (\mathbf{x}^T\mathbf{x'})^d$$d = 2$$\mathbf{x} = (x_1, x_2)^T$

$$\begin{aligned} k(\begin{pmatrix} x_1 \\ x_2 \end{pmatrix}, \begin{pmatrix} x_1' \\ x_2' \end{pmatrix} ) & = (x_1x_2' + x_2x_2')^2 \\ & = 2x_1x_1'x_2x_2' + (x_1x_1')^2 + (x_2x_2')^2 \\ & = (\sqrt{2}x_1x_2 \ x_1^2 \ x_2^2) \ \begin{pmatrix} \sqrt{2}x_1'x_2' \\ x_1'^2 \\ x_2'^2 \end{pmatrix} \end{aligned}$$

$$k(\begin{pmatrix} x_1 \\ x_2 \end{pmatrix}, \begin{pmatrix} x_1' \\ x_2' \end{pmatrix} ) = \phi(\mathbf{x})^T \phi(\mathbf{x'})$$

$$\phi(\begin{pmatrix} x_1 \\ x_2 \end{pmatrix}) =\begin{pmatrix} \sqrt{2}x_1x_2 \\ x_1^2 \\ x_2^2 \end{pmatrix}$$

Özellik haritasını ve ortaya çıkan sınır çizgisini görselleştirme

• Sol taraftaki arsa, dönüştürülmüş alanda çizilen noktaları, SVM doğrusal sınır hiper düzlemi ile birlikte gösterir.
• Sağ taraftaki çizim, orijinal 2 boyutlu alanda sonuçları göstermektedir

---

Kaynak

• Tam posta ve python kodu buraya
• https://disi.unitn.it/~passerini/teaching/2014-2015/MachineLearning/slides/17_kernel_machines/handouts.pdf

Çok basit (ama doğru) bir çekirdek, iki veri dizisi arasındaki tartı faktörüdür . Bu tartma faktörü bir "daha fazla ağırlık atayabilir veri noktası bir" at " zaman noktası için diğer" daha " veri noktası ", ya da buna eşit ağırlık atamak ya da diğer "daha fazla ağırlık verilmektedir veri noktasına ve benzeri" ve.

Bu şekilde korelasyon ( nokta ürün ) bazı noktalarda diğerlerinden daha fazla "önem" verebilir ve böylece doğrusal olmayanlar (örneğin düz olmayan alanlar ), ek bilgiler, veri düzgünleştirme vb. İle başa çıkabilir .

Yine bir başka şekilde bir çekirdek, yukarıda belirtilenlerle başa çıkmak için iki veri dizisinin nispi boyutlarını (veya boyut birimlerini ) değiştirmenin bir yoludur .

Üçüncü bir şekilde (önceki iki ile ilgili olarak), bir çekirdek, verilen bilgileri veya kriterleri (örn. Kavisli alan, eksik veri, veri) dikkate alarak bir veri dizisini diğerine 1'e 1 şekilde eşlemek veya yansıtmak için bir yoldur. yeniden sipariş ve benzeri). Bu nedenle örneğin belirli bir çekirdek, 1'e 1'i diğerine sığdırmak veya eşlemek için bir veri dizisini gerebilir veya daraltabilir veya kırpabilir veya bükebilir .

Bir çekirdek " en iyi şekilde uyması " için bir Procrustes gibi hareket edebilir