Kernelised k En Yakın Komşu

Ben çekirdeklerde yeniyim ve kNN'yi çekirdeklemeye çalışırken bir engelle karşılaştım.

Hazırlıklar

Bir polinom çekirdek kullanıyorum:
$K(\mathbf{x},\mathbf{y}) = (1 + \langle \mathbf{x},\mathbf{y} \rangle)^d$

Tipik Öklid kNN'niz aşağıdaki mesafe metriğini kullanır:
$d(\mathbf{x}, \mathbf{y}) = \vert\vert \mathbf{x} - \mathbf{y} \vert\vert$

Let haritası bazı yüksek boyutlu özellik uzaya. Daha sonra Hilbert uzayında yukarıdaki mesafe metriğinin karesi iç ürünlerle ifade edilebilir: $f(\mathbf{x})$ $\mathbf{x}$ $d^2(f(x), f(y)) = K(\mathbf{x},\mathbf{x}) - 2K(\mathbf{x}, \mathbf{y}) + K(\mathbf{y} ,\mathbf{y})$

izin verirsek , yukarıdakilerin standart Öklid mesafenize dejenere olacağını unutmayın. $d = 1$

Soru

Temel problemim, kNN'nin çekirdekleştirmenin deneysel olarak gösterildiği gibi nasıl daha iyi sonuçlar verdiğini göremememdir, örneğin, bu yazı (uyarı, doğrudan pdf bağlantısı!).

machine-learning kernel-trick k-nearest-neighbour

— helezon
kaynak

Kapağın Teoremi: Kabaca belirtildiği gibi, rastgele herhangi bir sonlu nokta kümesi (rastgele etiketlerle) verildiğini, daha sonra yüksek olasılıkla bu noktalar daha yüksek bir boyuta [2] eşlenerek doğrusal olarak ayrılabilir hale getirilebileceğini [1] söylüyor.

Sonuç: Harika, bu teoremin bana söylediği şey, veri setimi alıp bu noktaları daha yüksek bir boyuta eşlersem, o zaman kolayca doğrusal bir sınıflandırıcı bulabilirim. Bununla birlikte, çoğu sınıflandırıcı nokta ürünü gibi bir tür benzerliği hesaplamak zorundadır ve bu, bir sınıflandırma algoritmasının zaman karmaşıklığının veri noktasının boyutuyla orantılı olduğu anlamına gelir. Bu nedenle, daha yüksek boyut, daha büyük zaman karmaşıklığı anlamına gelir (bu büyük boyutlu noktaları saklamak için alan karmaşıklığından bahsetmiyoruz).

$n$ $f$ $N (>> n)$ $K$ $x$ $y$ $K(x, y) = \langle f(x), f(y) \rangle$ $O(n)$ $O(N)$

$f$

Doğrusal ayrılabilirlik, aynı sınıftan puanların farklı sınıflardan puanlara yaklaşacağını ima ediyor mu? Hayır, böyle bir garanti yoktur. Doğrusal ayrılabilirlik, aynı sınıftaki noktanın daha yakınlaştığı ya da iki farklı sınıftan puanların daha da arttığı anlamına gelmez.

Öyleyse kNN neden işe yarar? Gerek yok! Ancak, eğer öyleyse, sadece çekirdek yüzünden olur.

$x = (x_1, x_2)$ $x$ $(x_1^2, \sqrt{2} x_1x_2, x_2^2)$

Öyleyse neden çekirdek kNN kullanıyorsunuz? Çekirdek kullanmanın hesaplama karmaşıklığının her zamanki kNN'den biraz daha fazla olduğunu gösterdik ve eğer veri çekirdeği kullanmaktan yarar sağlıyorsa, neden onları yine de kullanmıyorsunuz?

KNN'deki çekirdeklerden hangi veri sınıfının yararlanabileceğini inceleyen herhangi bir makale var mı? Bildiğim kadarıyla, Hayır.

[1] http://en.wikipedia.org/wiki/Linear_separability
[2] http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=4038449&tag=1

— TenaliRaman
kaynak