Çekirdek Sırtı Regresyon Verimliliği

Ridge Regresyonu burada öngörülen etikettir , , matris tanımlamak biz için bir etiket bulmaya çalışıyorsanız nesne ve matrisi nesnelerin şöyle:

\hat{y} = (X^{'} X + a I_{d})^{- 1} X x

$\hat{y} = (\mathbf{X'X} + a\mathbf{I}_d)^{-1}\mathbf{X}x$

\hat{y}

$\hat{y}$

I_{d}

$\mathbf{I}_d$

d \times d

$d \times d$

x

$\mathbf{x}$

X

$\mathbf{X}$

n \times d

$n \times d$

n

$n$

x_{i} = (x_{i, 1}, . . ., x_{i, d}) \in R^{d}

$\mathbf{x}_i = (x_{i,1}, ..., x_{i,d})\in \mathbb{R}^d$

X = (\begin{matrix} x_{1, 1} & x_{1, 2} & \dots & x_{1, d} \\ x_{2, 1} & x_{2, 2} & \dots & x_{2, d} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ x_{n, 1} & x_{1, 2} & \dots & x_{n, d} \end{matrix})

$\mathbf{X} = \begin{pmatrix} x_{1,1} & x_{1,2} & \ldots & x_{1,d}\\ x_{2,1} & x_{2,2} & \ldots & x_{2,d}\\ \vdots & \vdots & \ddots & \vdots\\ x_{n,1} & x_{1,2} &\ldots & x_{n,d} \end{pmatrix}$

Bunu şu şekilde çekirdeklendirebiliriz:

\hat{y} = (K + a I_{d})^{- 1} k

$\hat{y} = (\mathbf{\mathcal{K}} + a\mathbf{I}_d)^{-1} \mathbf{k}$

burada , çekirdek fonksiyonlarının matrisidir $\mathbf{\mathcal{K}}$ $n \times n$ $K$

K = (\begin{matrix} K (x_{1}, x_{1}) & K (x_{1}, x_{2}) & \dots & K (x_{1}, x_{n}) \\ K (x_{2}, x_{1}) & K (x_{2}, x_{2}) & \dots & K (x_{2}, x_{n}) \\ ⋮ & ⋮ & ⋱ & ⋮ \\ K (x_{n}, x_{1}) & K (x_{n}, x_{2}) & \dots & K (x_{n}, x_{n}) \end{matrix})

$\mathcal{K} = \begin{pmatrix} K(\mathbf{x}_1,\mathbf{x}_1) & K(\mathbf{x}_1,\mathbf{x}_2) & \ldots & K(\mathbf{x}_1,\mathbf{x}_n)\\ K(\mathbf{x}_2,\mathbf{x}_1) & K(\mathbf{x}_2,\mathbf{x}_2) & \ldots & K(\mathbf{x}_2,\mathbf{x}_n)\\ \vdots & \vdots & \ddots & \vdots\\ K(\mathbf{x}_n,\mathbf{x}_1) & K(\mathbf{x}_n,\mathbf{x}_2) &\ldots & K(\mathbf{x}_n,\mathbf{x}_n) \end{pmatrix}$

ve çekirdek fonksiyonlarının kolon vektörü $\mathbf{k}$ $n \times 1$ $K$

k = (\begin{matrix} K (x_{1}, x) \\ K (x_{2}, x) \\ ⋮ \\ K (x_{n}, x) \end{matrix})

$\mathbf{k} = \begin{pmatrix} K(\mathbf{x}_1,\mathbf{x})\\ K(\mathbf{x}_2,\mathbf{x}) \\ \vdots \\ K(\mathbf{x}_n,\mathbf{x}) \end{pmatrix}$

Sorular:

(a) 'da daha fazla nesne olup olmadığını boyutlarından daha bunun için mantıklı değildir çekirdek kullanmak? Örneğin izin , bir olmak daha sonra matris , bir olacaktır ve bir tersine çevrilmesi sona erecek matris yerine daha fazla ters çevirmek zorunda kalacağız. Bu, olursa, çekirdek kullanmamamız gerektiği anlamına mı geliyor ? $\mathbf{x}_i$ $\mathbf{X}$ $50 \times 3$ $\mathbf{X}'\mathbf{X}$ $3 \times 3$ $3 \times 3$ $50 \times 50$ $d \leq n$

(b) mümkün olan en basit çekirdek kullanılmalı mı? Sırt regresyonundaki çekirdekler, boyutsallığın etkilerini ortadan kaldırmak ve özellik alanının belirli özelliklerini (destek vektör makinelerinin aksine) kullanmamak için kullanılıyor gibi görünüyor. Çekirdekler nesneler arasındaki mesafeleri değiştirebilmesine rağmen, sırt regresyonunda kullanılan herhangi bir popüler çekirdek var mı?

regression ridge-regression kernel-trick

— helezon
kaynak

'verimlilik' istatistiklerde farklı bir anlama sahiptir. Şunu mu demek istediniz: 'computational complexity'? (başlıkta)

— Memming

"Algoritmik verimlilik" demek istedim. Her ne kadar sorularımın bunu temelde "hesaplama karmaşıklığına" indirgediği doğru.

— Helix

(a) Çekirdek kullanmanın amacı, bu durumda doğrusal olmayan bir regresyon problemini çözmektir. İyi bir çekirdek, problemleri muhtemelen sonsuz boyutlu bir özellik alanında çözmenize izin verecektir. Ancak, doğrusal bir çekirdek ve çift boşlukta çekirdek sırtı regresyonu yapmak, birincil boşluktaki problemi çözmekle aynıdır yani herhangi bir avantaj sağlamaz (gözlemlediğiniz gibi örnek sayısı arttıkça çok daha yavaştır). $K(\mathbf{x,y}) = \mathbf{x}^\top \mathbf{y}$

(b) En popüler seçeneklerden biri kare üstel çekirdek bu evrenseldir (aşağıdaki referansa bakınız). Çok sayıda çekirdek vardır ve her biri özellik alanınıza farklı iç ürünler (ve dolayısıyla metrik) sağlar. $K(x,y) = \exp(-\frac{\tau}{2} ||\mathbf{x}-\mathbf{y}||^2)$

(c) Kolay uygulama, boyutunda doğrusal bir denklemin çözülmesini gerektirir , bu yüzden . Nyström yaklaşımı gibi çok daha hızlı yaklaşım yöntemleri vardır. Bu aktif bir araştırma alanıdır. $n$ $O(n^3)$

Referanslar:

Bharath Sriperumbudur, Kenji Fukumizu ve Gert Lanckriet. Evrensellik, karakteristik çekirdekler ve RKHS önlemlerinin gömülmesi arasındaki ilişki üzerine. Makine Öğrenimi Araştırmaları Dergisi, 9: 773–780, 2010.
Bernhard Schlkopf, Alexander J. Smola. Çekirdeklerle Öğrenme: Destek Vektör Makineleri, Düzenleme, Optimizasyon ve Ötesi 2002

— Memming
kaynak