Çekirdek Yaklaşımı için Nystroem Yöntemi

Düşük seviyeli çekirdek yakınlaşması için Nyström yöntemini okudum. Bu yöntem scikit-learn [1] 'de veri örneklerini çekirdek özellik eşlemesinin düşük dereceli bir yaklaşımına yansıtmak için bir yöntem olarak uygulanır.

Bildiğim kadarıyla, bir eğitim seti verilen ve bir çekirdek fonksiyonu, bu bir düşük seviye yaklaşımı oluşturur çekirdek matris için SVD uygulayarak ve . $\{x_i\}_{i=1}^n$ $n \times n$ $K$ $W$ $C$

$K = \left [ \begin{array}{cc} W & K_{21}^T \\ K_{21} & K_{22} \end{array} \right ]$ $C = \left [\begin{array}{cc} W \\ K_{21} \end{array}\right ]$ , $W \in \mathbb{R}^{l\times l}$

Bununla birlikte, çekirdek matrisinin düşük dereceli yaklaşımının, yeni örnekleri yaklaşık çekirdek özellik alanına yansıtmak için nasıl kullanılabileceğini anlamıyorum . Bulduğum yazılar (örneğin [2]) çok yardımcı değil, çünkü az didaktik.

Ayrıca, hem eğitim hem de test aşamalarında bu yöntemin hesaplama karmaşıklığını merak ediyorum.

[1] http://scikit-learn.org/stable/modules/kernel_approximation.html#nystroem-kernel-approx

[2] http://www.jmlr.org/papers/volume13/kumar12a/kumar12a.pdf

— Daniel López
kaynak

Nyström yaklaşımını, sorularınızın cevaplarını daha net hale getirecek şekilde elde edelim.

Nyström'deki temel varsayım, çekirdek fonksiyonunun rütbe olduğu yönündedir. $m$ . (Gerçekten yaklaşık rütbe olduğunu varsayıyoruz $m$ , ama basitlik için tam olarak rütbe olduğunu varsayalım $m$ Şimdilik.) Bu, herhangi bir çekirdek matrisinin en fazla rütbeye sahip olacağı anlamına gelir $m$ , ve özellikle

K = [\begin{matrix} k (x_{1}, x_{1}) & \dots & k (x_{1}, x_{n}) \\ ⋮ & ⋱ & ⋮ \\ k (x_{n}, x_{1}) & \dots & k (x_{n}, x_{n}) \end{matrix}],

$K = \begin{bmatrix} k(x_1, x_1) & \dots & k(x_1, x_n) \\ \vdots & \ddots & \vdots \\ k(x_n, x_1) & \dots & k(x_n, x_n) \end{bmatrix} ,$ rütbe

m

$m$ . Bu nedenle var

m

$m$ sıfır olmayan özdeğerler ve özdeğer kompozisyonunu yazabiliriz

K

$K$ gibi

K = U Λ U^{T}

$K = U \Lambda U^T$ içinde saklanan özvektörlerle

U

$U$ , şekil

n \times m

$n \times m$ ve özdeğerler

Λ

$\Lambda$ , bir

m \times m

$m \times m$ Diyagonal matris.

Hadi seçelim $m$ elemanlar, genellikle rastgele ama muhtemelen diğer şemalara göre - bu basitleştirilmiş versiyonda önemli olan tek şey $K_{11}$ tam rütbeli olmak. Yaptıktan sonra, noktaları yeniden etiketleyin, böylece çekirdek matrisini bloklar halinde elde edelim:

K = [\begin{matrix} K_{11} & K_{21}^{T} \\ K_{21} & K_{22} \end{matrix}],

$K = \begin{bmatrix} K_{11} & K_{21}^T \\ K_{21} & K_{22} \end{bmatrix} ,$ burada her girişi değerlendiriyoruz

K_{11}

$K_{11}$ (hangisi

m \times m

$m \times m$ ) ve

K_{21}

$K_{21}$ (

(n - m) \times m

$(n-m) \times m$ ), ancak içindeki herhangi bir girişi değerlendirmek istemiyorum

K_{22}

$K_{22}$ .

Şimdi, öz-kompozisyonunu bu blok yapısına göre ayırabiliriz:

\begin{aligned} K & = U Λ U^{T} \\ = [\begin{matrix} U_{1} \\ U_{2} \end{matrix}] Λ {[\begin{matrix} U_{1} \\ U_{2} \end{matrix}]}^{T} \\ = [\begin{matrix} U_{1} Λ U_{1}^{T} & U_{1} Λ U_{2}^{T} \\ U_{2} Λ U_{1}^{T} & U_{2} Λ U_{2}^{T} \end{matrix}], \end{aligned}

$\begin{align} K &= U \Lambda U^T \\&= \begin{bmatrix}U_1 \\ U_2\end{bmatrix} \Lambda \begin{bmatrix}U_1 \\ U_2\end{bmatrix}^T \\&= \begin{bmatrix} U_1 \Lambda U_1^T & U_1 \Lambda U_2^T \\ U_2 \Lambda U_1^T & U_2 \Lambda U_2^T \end{bmatrix} ,\end{align}$ nerede

U_{1}

$U_1$ dır-dir

m \times m

$m \times m$ ve

U_{2}

$U_2$ dır-dir

(n - m) \times m

$(n-m) \times m$ . Ama şimdi

K_{11} = U_{1} Λ U_{1}^{T}

$K_{11} = U_1 \Lambda U_1^T$ . Böylece bulabiliriz

U_{1}

$U_1$ ve

Λ

$\Lambda$ bilinen matrisi oluşturan özdeğer

K_{11}

$K_{11}$ .

Ayrıca biliyoruz ki $K_{21} = U_2 \Lambda U_1^T$ . Burada, bu denklemdeki her şeyi biliyoruz, $U_2$ , yani hangi özdeğerleri ima ettiğimizi çözebiliriz: her iki tarafı da sağa çarparak $(\Lambda U_1^T)^{-1} = U_1 \Lambda^{-1}$ almak

U_{2} = K_{21} U_{1} Λ^{- 1} .

$U_2 = K_{21} U_1 \Lambda^{-1} .$ Şimdi değerlendirmemiz gereken her şeye sahibiz

K_{22}

$K_{22}$ :

\begin{aligned} K_{22} & = U_{2} Λ U_{2}^{T} \\ = (K_{21} U_{1} Λ^{- 1}) Λ {(K_{21} U_{1} Λ^{- 1})}^{T} \\ = K_{21} U_{1} (Λ^{- 1} Λ) Λ^{- 1} U_{1}^{T} K_{21}^{T} \\ = K_{21} U_{1} Λ^{- 1} U_{1}^{T} K_{21}^{T} \\ (*) & = K_{21} K_{11}^{- 1} K_{21}^{T} \\ (**) & = (K_{21} K_{11}^{- \frac{1}{2}}) {(K_{21} K_{11}^{- \frac{1}{2}})}^{T} . \end{aligned}

$\begin{align} K_{22} &= U_2 \Lambda U_2^T \\&= \left(K_{21} U_1 \Lambda^{-1}\right) \Lambda \left(K_{21} U_1 \Lambda^{-1}\right)^T \\&= K_{21} U_1 (\Lambda^{-1} \Lambda) \Lambda^{-1} U_1^T K_{21}^T \\&= K_{21} U_1 \Lambda^{-1} U_1^T K_{21}^T \\&= K_{21} K_{11}^{-1} K_{21}^T \tag{*} \\&= \left( K_{21} K_{11}^{-\frac12} \right) \left( K_{21} K_{11}^{-\frac12} \right)^T \tag{**} .\end{align}$

(*) 'Da, tanım olarak gördüğünüz Nyström gömmesinin bir sürümünü bulduk. Bu bize blok için ima ettiğimiz etkili çekirdek değerlerini söyler $K_{22}$ .

(**) 'de, özellik matrisinin $K_{21} K_{11}^{-\frac12}$ , hangi şekil $(n-m) \times m$ , bu empoze edilen çekirdek değerlerine karşılık gelir. Kullanırsak $K_{11}^{\frac12}$ için $m$ puan, bir dizi var $m$ boyutlu özellikler

Φ = [\begin{matrix} K_{11}^{\frac{1}{2}} \\ K_{21} K_{11}^{- \frac{1}{2}} \end{matrix}] .

$\Phi = \begin{bmatrix} K_{11}^{\frac12} \\ K_{21} K_{11}^{-\frac12} \end{bmatrix} .$ Bunu hızlı bir şekilde doğrulayabiliriz

Φ

$\Phi$ doğru çekirdek matrisine karşılık gelir:

\begin{aligned} Φ Φ^{T} & = [\begin{matrix} K_{11}^{\frac{1}{2}} \\ K_{21} K_{11}^{- \frac{1}{2}} \end{matrix}] {[\begin{matrix} K_{11}^{\frac{1}{2}} \\ K_{21} K_{11}^{- \frac{1}{2}} \end{matrix}]}^{T} \\ = [\begin{matrix} K_{11}^{\frac{1}{2}} K_{11}^{\frac{1}{2}} & K_{11}^{\frac{1}{2}} K_{11}^{- \frac{1}{2}} K_{21}^{T} \\ K_{21} K_{11}^{- \frac{1}{2}} K_{11}^{\frac{1}{2}} & K_{21} K_{11}^{- \frac{1}{2}} K_{11}^{- \frac{1}{2}} K_{21}^{T} \end{matrix}] \\ = [\begin{matrix} K_{11} & K_{21}^{T} \\ K_{21} & K_{21} K_{11}^{- 1} K_{21}^{T} \end{matrix}] \\ = K . \end{aligned}

$\begin{align} \Phi \Phi^T &= \begin{bmatrix} K_{11}^{\frac12} \\ K_{21} K_{11}^{-\frac12} \end{bmatrix} \begin{bmatrix} K_{11}^{\frac12} \\ K_{21} K_{11}^{-\frac12} \end{bmatrix}^T \\&=\begin{bmatrix} K_{11}^{\frac12} K_{11}^{\frac12} & K_{11}^{\frac12} K_{11}^{-\frac12} K_{21}^T \\ K_{21} K_{11}^{-\frac12} K_{11}^{\frac12} & K_{21} K_{11}^{-\frac12} K_{11}^{-\frac12} K_{21}^T \end{bmatrix} \\&=\begin{bmatrix} K_{11} & K_{21}^T \\ K_{21} & K_{21} K_{11}^{-1} K_{21}^T \end{bmatrix} \\&= K .\end{align}$

Yani, tek yapmamız gereken düzenli öğrenme modelimizi $m$ boyutlu özellikler $\Phi$ . Bu , öğrenme sorununun çekirdeklendirilmiş sürümü ile tam olarak aynı olacaktır (yaptığımız varsayımlar altında) $K$ .

Şimdi, tek bir veri noktası için $x$ , özellikleri $\Phi$ karşılık vermek

ϕ (x) = [\begin{matrix} k (x, x_{1}) & \dots & k (x, x_{m}) \end{matrix}] K_{11}^{- \frac{1}{2}} .

$\phi(x) = \begin{bmatrix} k(x, x_1) & \dots & k(x, x_m) \end{bmatrix} K_{11}^{-\frac12} .$ Bir nokta için

x

$x$ 2. bölümde vektör

[\begin{matrix} k (x, x_{1}) & \dots & k (x, x_{m}) \end{matrix}]

$\begin{bmatrix} k(x, x_1) & \dots & k(x, x_m) \end{bmatrix}$ sadece ilgili satır

K_{21}

$K_{21}$ , böylece bunları biriktirmek bize

K_{21} K_{11}^{- \frac{1}{2}}

$K_{21} K_{11}^{-\frac12}$ - yani

ϕ (x)

$\phi(x)$ bölüm 2'deki noktaları kabul eder. Aynı zamanda bölüm 1'de de çalışır: işte, vektör

K_{11}

$K_{11}$ , bu yüzden onları istiflemek

K_{11} K_{11}^{- \frac{1}{2}} = K_{11}^{\frac{1}{2}}

$K_{11} K_{11}^{-\frac12} = K_{11}^{\frac12}$ , yine katılıyorum

Φ

$\Phi$ . Yani ... eğitim sırasında görülmeyen bir test noktası için hala doğru

x_{new}

$x_\text{new}$ . Sadece aynı şeyi yapıyorsun:

Φ_{test} = K_{test, 1} K_{11}^{- \frac{1}{2}} .

$\Phi_\text{test} = K_{\text{test},1} K_{11}^{-\frac12} .$ Çünkü çekirdeğin rütbe olduğunu varsaydık

m

$m$ , matris

[\begin{matrix} K_{train} & K_{train,test} \\ K_{test,train} & K_{test} \end{matrix}]

$\begin{bmatrix}K_{\text{train}} & K_{\text{train,test}} \\ K_{\text{test,train}} & K_{\text{test}} \end{bmatrix}$ aynı zamanda

m

$m$ ve yeniden inşası

K_{test}

$K_\text{test}$ hala tam olarak aynı mantıkla

K_{22}

$K_{22}$ .

Yukarıda, çekirdek matrisinin

K

$K$ oldu tam sıralaması

m

$m$ . Bu genellikle böyle olmaz; örneğin bir Gauss çekirdeği için,

K

$K$ her zaman rütbe

n

$n$ O olacak öyle, ama ikincisi özdeğerler genellikle oldukça hızlı düşüyorlar yakın bir sıralama matrisine

m

$m$ ve bizim

K_{21}

$K_{21}$ veya

K_{test, 1}

$K_{\text{test},1}$ gerçek değerlere yakın olacak ama tam olarak aynı olmayacak. Daha fazla rekonstrüksiyon olacaklar.

K_{11}

$K_{11}$ buna ulaşır

K

$K$ genel olarak, bu yüzden doğru seçimi

m

$m$ puan pratikte önemlidir.

Ayrıca, $K_{11}$ herhangi bir sıfır özdeğeri varsa, tersleri psödoinverslerle değiştirebilirsiniz ve her şey hala çalışır; sadece değiştir $K_{21}$ ile yeniden yapılanma $K_{21} K_{11}^\dagger K_{11}$ .

İsterseniz özdeğer kompozisyonu yerine SVD kullanabilirsiniz; dan beri $K$ psd, onlar aynı şey, ancak SVD çekirdek matrisinde biraz daha sağlamdan hafif sayısal hataya ve benzeri olabilir, bu yüzden scikit-learn bunu yapar. scikit-learn'un gerçek uygulaması bunu kullanıyor olsa da, $\max(\lambda_i, 10^{-12})$ yalancı ters yerine.

— Dougal
kaynak

Ne zaman

A

$A$ pozitif semidefinit, özdiyompozisyon

U Λ U^{T}

$U \Lambda U^T$ SVD ile çakışır. scikit-learn, çünkü sayısal hata nedeniyle

A

$A$ biraz psd olmayabilir, bunun yerine hesaplar

U Σ V^{T}

$U \Sigma V^T$ ve kullanır

A^{- \frac{1}{2}} = V Σ^{- \frac{1}{2}} V^{T}

$A^{-\frac12} = V \Sigma^{-\frac12} V^T$ , Böylece

A

$A$ özellikleri

A V Σ^{- \frac{1}{2}} V^{T} = U Σ V^{T} V Σ^{- \frac{1}{2}} V^{T} = U Σ^{\frac{1}{2}} V^{T} = A^{\frac{1}{2}}

$A V \Sigma^{-\frac12} V^T = U \Sigma V^T V \Sigma^{-\frac12} V^T = U \Sigma^{\frac12} V^T = A^{\frac12}$ . Aynı şey, temelde.

— Dougal

Üzgünüz, evet kullanıyorlar

U Σ^{- \frac{1}{2}} V^{T} = K^{- \frac{1}{2}}

$U \Sigma^{-\frac12} V^T = K^{-\frac12}$ . O zamandan beri önemli değil

U \approx V

$U \approx V$ , ancak özellikleri

K_{11}

$K_{11}$ olarak bitirmek

U Σ V^{T} V Σ^{- \frac{1}{2}} U^{T} = U Σ^{\frac{1}{2}} U^{T}

$U\Sigma V^T V \Sigma^{-\frac12} U^T = U \Sigma^{\frac12} U^T$ .

— Dougal

Çapraz bir matrisi bir güce yükseltmek, her öğeyi bir güce yükseltmekle aynıdır ve

x^{- \frac{1}{2}} = 1 / \sqrt{x}

$x^{-\frac12} = 1 / \sqrt x$ . Numpy yayın gösterimlerinde, bir vektör ile eleman olarak çarpma, diyagonal bir matrisle sağ çarpma ile aynıdır. Ayrıca, bu kod

V

$V$ ne dediğimi kastetmek

V^{T}

$V^T$ .

— Dougal

Üzgünüz, bu sadece

x_{m}

$x_m$ (yeniden etiketlenmiş sıralamada, böylece bunlar Nyström temel noktalarıdır). Düzeltecek.

— Dougal

x

$x$ bir veri noktasıdır, boyutu burada belirtilmez.

x

$x$ olabilir

R^{d}

$\mathbb R^d$ veya bir dize falan olabilir; sadece söyle

x \in X

$x \in \mathcal X$ , Böylece

k : X \times X \to R

$k : \mathcal X \times \mathcal X \to \mathbb R$ . Sonra

ϕ : X \to R^{m}

$\phi : \mathcal X \to \mathbb R^m$ sadece istiflenir

k (x, x_{i})

$k(x, x_i)$ için

m

$m$ farklı girdiler.

— Dougal