Düzenli doğrusal ve RKHS regresyonu

RKHS regresyonunda regülasyon ile lineer regresyon arasındaki farkı inceliyorum, ancak ikisi arasındaki önemli farkı kavramakta zorlanıyorum.

Verilen giriş-çıkış çiftleri , bir işlev tahmin etmek isteyen aşağıdaki gibi ; burada bir çekirdek işlevidir. katsayıları çözülerek bulunabilir. ; burada, gösterimde bazı kötüye kullanımlarla , çekirdek matrisi 'girişi olan . Bu, $(x_i,y_i)$ $f(\cdot)$

f (x) \approx u (x) = \sum_{i = 1}^{m} α_{i} K (x, x_{i}),

$\begin{equation}f(x)\approx u(x)=\sum_{i=1}^m \alpha_i K(x,x_i),\end{equation}$

K (\cdot, \cdot)

$K(\cdot,\cdot)$

α_{m}

$\alpha_m$

min_{α \in R^{n}} \frac{1}{n} ‖ Y - K α ‖_{R^{n}}^{2} + λ α^{T} K α,

$\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}K\alpha},\end{equation}$

i, j

$i,j$

K

$K$

K (x_{i}, x_{j})

$K(x_{i},x_{j})$

α^{*} = (K + λ n I)^{- 1} Y .

$\begin{equation} \alpha^*=(K+\lambda nI)^{-1}Y. \end{equation}$ Alternatif olarak, sorunu normal bir sırt regresyonu / doğrusal regresyon problemi olarak ele alabiliriz:

min_{α \in R^{n}} \frac{1}{n} ‖ Y - K α ‖_{R^{n}}^{2} + λ α^{T} α,

$\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}\alpha},\end{equation}$ çözümü

α^{*} = (K^{T} K + λ n I)^{- 1} K^{T} Y .

$\begin{equation} {\alpha^*=(K^{T}K +\lambda nI)^{-1}K^{T}Y}. \end{equation}$

Bu iki yaklaşım ve çözümleri arasındaki önemli fark nedir?

— MthQ
kaynak

stats.stackexchange.com/questions/79192/…

— Çağdaş Özgenc

@MThQ - 'Normal' sırt regresyonu tanımınız hala ikili içinde çalışmıyor mu? Sadece normal sırt regresyonunun (açık özellik gösteriminin yapıldığı) ilkelde çalıştığı varsayıldığını açıklığa kavuşturmak için.

— rnoodle

Optimizasyon problemlerini yazarken muhtemelen fark ettiğiniz gibi, minimizasyondaki tek fark, Hilbert normunun cezalandırma için kullanmasıdır. Yani, 'büyük' değerlerinin cezalandırma amacıyla ne olduğunu ölçmek . RKHS ayarında, RKHS iç ürünü, , sırt regresyonu Öklid normuna göre cezalandırılmaktadır. $\alpha$ $\alpha^tK\alpha$

İlginç bir teorik sonuç, her yöntemin üreyen çekirdek spektrumunu nasıl etkilediğidir . RKHS teorisi ile, simetrik pozitif kesin olduğuna sahibiz . Spektral teoremle, ; burada , öz değerlerin köşegen matrisidir ve , özvektörlerin ortonormal matrisidir. Sonuç olarak, RKHS ayarında Bu arada, Ridge regresyon ayarında simetriyle, $K$ $K$ $K = U^tDU$ $D$ $U$

\begin{aligned} (K + λ n ben)^{- 1} Y & = [U^{t} (D + λ n ben) U]^{- 1} Y \\ = U^{t} [D + λ n ben]^{- 1} U Y . \end{aligned}

$\begin{align} (K+\lambda nI)^{-1}Y &= [U^t(D+\lambda nI)U]^{-1}Y\\ &= U^t[D+\lambda nI]^{-1}UY. \end{align}$

K^{t} K = K^{2}

$K^tK=K^2$

\begin{aligned} (K^{2} + λ n ben)^{- 1} K Y & = [U^{t} (D^{2} + λ n ben) U]^{- 1} K Y \\ = U^{t} [D^{2} + λ n ben]^{- 1} U K Y \\ = U^{t} [D^{2} + λ n ben]^{- 1} D U Y \\ = U^{t} [D + λ n D^{- 1}]^{- 1} U Y . \end{aligned}

$\begin{align} (K^2+\lambda nI)^{-1}KY &= [U^t(D^2+\lambda nI)U]^{-1}KY\\ &= U^t[D^2+\lambda nI]^{-1}UKY\\ &= U^t[D^2+\lambda nI]^{-1}DUY\\ &= U^t[D+\lambda nD^{-1}]^{-1}UY. \end{align}$ spektrumu olsun olabilir . RKHS regresyonunda, özdeğerler ile stabilize edilir . Ridge regresyonunda, . Sonuç olarak, karşılık gelen daha , Ridge daha büyük bir değer eklerken, RKHS özdeğerleri eşit olarak değiştirir .

K

$K$

ν_{1}, \dots, ν_{n}

$\nu_1,\ldots,\nu_n$

ν_{i} \to ν_{i} + λ n

$\nu_i\rightarrow\nu_i+\lambda n$

ν_{i} \to ν_{i} + λ n / ν_{i}

$\nu_i\rightarrow \nu_i + \lambda n/\nu_i$

ν_{i}

$\nu_i$

Çekirdek seçimine bağlı olarak, için iki tahmin birbirine yakın veya birbirinden uzak olabilir. Operatör normunda mesafe Ancak, bu yine de belirli bir için sınırlıdır $\alpha$

\begin{aligned} ‖ α_{RKHS} - α_{çıkıntı} ‖_{ℓ^{2}} & = ‖ {bir}_{RKHS} Y - {bir}_{çıkıntı} Y ‖_{ℓ^{2}} \\ \leq ‖ [D + λ n ben]^{- 1} - [D + λ n D^{- 1}]^{- 1} ‖_{\infty} ‖ Y ‖_{ℓ^{2}} \\ \leq \underset{ben = 1, ..., n}{maksimum} {| (ν_{ben} + λ n)^{- 1} - (ν_{ben} + λ n / ν_{ben})^{- 1} |} ‖ Y ‖_{ℓ^{2}} \\ \leq \underset{ben = 1, ..., n}{maksimum} {\frac{λ n | 1 - ν_{ben} |}{(ν_{ben} + λ n) (ν_{ben}^{2} + λ n)}} ‖ Y ‖_{ℓ^{2}} \end{aligned}

$\begin{align} \|{\alpha_\text{RKHS}-\alpha_\text{Ridge}}\|_{\ell^2} &= \|{ A_\text{RKHS}Y-A_\text{Ridge}Y }\|_{\ell^2}\\ &\le \|[D+\lambda nI]^{-1}-[D+\lambda n D^{-1}]^{-1}\|_\infty\|Y\|_{\ell^2}\\ &\le \max_{i=1,\ldots,n}\left\{| (\nu_i+\lambda n)^{-1} - (\nu_i+\lambda n/\nu_i)^{-1} |\right\}\|Y\|_{\ell^2}\\ &\le \max_{i=1,\ldots,n}\left\{ \frac{\lambda n|1-\nu_i|}{(\nu_i+\lambda n)(\nu_i^2+\lambda n)} \right\}\|Y\|_{\ell^2}\\ \end{align}$

Y

$Y$ , bu nedenle iki tahminciniz keyfi olarak birbirinden ayrılamaz. Bu nedenle, çekirdeğiniz kimliğe yakınsa, yaklaşımlarda büyük olasılıkla çok az fark olacaktır. Çekirdekleriniz çok farklıysa, iki yaklaşım yine de benzer sonuçlara yol açabilir.

Uygulamada, belirli bir durum için birinin diğerinden daha iyi olup olmadığını kesin olarak söylemek zor. Verileri çekirdek işlevi açısından temsil ederken, kare hatası açısından en aza indirdiğimiz için, karşılık gelen Hilbert işlev alanından en iyi regresyon eğrisini etkili bir şekilde seçiyoruz. Bu nedenle, RKHS iç ürününe ilişkin cezalandırma devam etmek için doğal bir yol gibi görünmektedir.

— Adam B Kashlak
kaynak

Bunun için bir referansınız var mı?

— rnoodle