Gauss RBF ve Gauss çekirdeği

Gauss Radyal Temel Fonksiyonu (RBF) ile lineer regresyon yapmak ve Gauss çekirdeği ile lineer regresyon yapmak arasındaki fark nedir?

regression normal-distribution kernel-trick

— user35965
kaynak

Siteye hoş geldiniz, @ user35965. Lütfen kısaltmalarınızı heceleyin. "RBF" ile, radyal temel fonksiyonu mu demek istediniz ?

— gung - Monica'yı eski durumuna getirin

Evet, demek istediğim bu çok iyi. İleride başvurmak üzere usulüne uygun şekilde not edilmiştir.

— user35965

Tek gerçek fark uygulanan düzenlemede. Düzenli bir RBF ağı genellikle ağırlıkların kare normuna dayanan bir ceza kullanır. Çekirdek versiyonu için, ceza tipik olarak çekirdeğin neden olduğu özellik uzayında örtük olarak inşa edilen lineer modelin ağırlıklarının kare normundadır. Bunun temel pratik farkı, RBF ağı için ceza RBF ağının merkezlerine (ve dolayısıyla kullanılan veri örneğine) bağlıyken, RBF çekirdeği için indüklenen özellik alanının, Böylece ceza, parametrelemesinden ziyade modelin işlevi için bir cezadır .

Diğer bir deyişle, her iki model için de

$f(\vec{x}') = \sum_{i=1}^\ell \alpha_i \mathcal{K}(\vec{x}_i, \vec{x}')$

RBF ağ yaklaşımı için eğitim kriteri

$L = \sum_{i=1}^\ell (y_i - f(\vec{x}_i))^2 + \lambda \|\alpha\|^2$

RBF çekirdek yöntemi için, ve . Bu araçlar olduğu uyarılan özellik uzayında modelin ağırlıkları, bir kare norm ceza ikili parametreleri açısından yazılabilir, olarak $\mathcal{K}(\vec{x},\vec{x}') = \phi(\vec{x})\cdot\phi(\vec{x}')$ $\vec{w} = \sum_{i=1}^\ell \alpha_i\phi(\vec{x}_i)$ $\vec{w}$ $\vec{\alpha}$

$\|\vec{w}\|^2 = \vec{\alpha}^T\matrix{K}\vec{\alpha},$

burada , tüm eğitim modelleri için çekirdeğin ikili değerlendirmelerinin matiksi. Eğitim kriteri o zaman $\matrix{K}$

. $L = \sum_{i=1}^\ell (y_i - f(\vec{x}_i))^2 + \lambda \vec{\alpha}^T\matrix{K}\vec{\alpha}$

İki model arasındaki tek fark , düzenleme dönemindeki . $\matrix{K}$

Çekirdek yaklaşımının temel teorik avantajı, doğrusal olmayan bir modeli, veri örneğine bağlı olmayan sabit doğrusal olmayan bir dönüşümün ardından doğrusal bir model olarak yorumlamanıza izin vermesidir. Dolayısıyla, doğrusal modeller için var olan herhangi bir istatistiksel öğrenme teorisi otomatik olarak doğrusal olmayan sürüme aktarılır. Bununla birlikte, çekirdek parametrelerini ayarlamaya çalıştığınız anda tüm bunlar bozulur, bu noktada RBF (ve MLP) sinir ağlarında olduğu gibi teorik olarak konuştuğumuz noktaya geri döneriz. Yani teorik avantaj belki de istediğimiz kadar büyük değil.

Performans açısından gerçek bir fark yaratması muhtemel mi? Muhtemelen fazla değil. "Ücretsiz öğle yemeği yok" teoremleri, herhangi bir algoritmanın diğerlerine göre a priori üstünlüğünün olmadığını ve normalleştirmedeki farkın oldukça ince olduğunu gösterir, bu yüzden şüpheniz varsa ikisini de deneyin ve çapraz doğrulamaya göre en iyisini seçin.

— Dikran Keseli
kaynak

@CagdasOzgenc Evet RBF için regulariser olan

yerine

için çekirdek makinesi. Olarak baz fonksiyonunun genişliği sıfıra yaklaşırken daha ucuz olacak

yaklaşacak

. Bunun temelde

temel fonksiyonlar arasındaki korelasyonu açıkladığı için olduğunu düşünüyorum .

‖ \vec{α} ‖^{2} = {\vec{α}}^{T} \begin{matrix} I \end{matrix} \vec{α}

$\|\vec{\alpha}\|^2 = \vec{\alpha}^T\matrix{I}\vec{\alpha}$

{\vec{α}}^{T} \begin{matrix} K \end{matrix} \vec{α}

$\vec{\alpha}^T\matrix{K}\vec{\alpha}$

K

$K$

I

$I$

K

$K$

— Dikran Marsupial

@CagdasOzgenc Benim bakış açım, regülatördeki

her baz vektörü için cezayı farklı şekilde ağırlaştırması ve cezanın diğer baz vektörlerinin seçimine bağlı olmasıdır. Bu ağırlık korelasyonlarına bağlıdır, bu nedenle farklı bir örnek seçerseniz, ağırlıklar telafi etmek için değişir. Buna bakmanın bir diğer yolu, modelin

belirlenen , temel vektörlerin seçimine bağlı olmayan (veri içeren alanı kaplaması şartıyla

bir özellik alanında tanımlanmış olmasıdır .

K

$K$

ϕ (x)

$\phi(x)$

— Dikran Marsupial

@CagdasOzgenc Tabii ki temel fonksiyonların alanını

bir öz-ayrışmasıyla dönüştürebilir ve

tarzı düzenleyiciyi yeniden kazanabiliriz (gerçekten de bu düzenleme parametresini optimize etmede yararlı bir numaradır - doi.org/10.1016/j .neunet.2007.05.005 ). Ancak bu dönüşüm, temel temel işlev seçiminin bağımlılığını ortadan kaldırır. İki şeyin eşit olması için genellikle doğru olmayan

(özellikle RBF çekirdeği için değil).

K

$K$

‖ {\vec{α}}^{'} ‖^{2}

$\|\vec{\alpha}'\|^2$

{\vec{α}}^{T} \begin{matrix} K \end{matrix} \vec{α} = μ {\vec{α}}^{T} \begin{matrix} I \end{matrix} \vec{α}

$\vec{\alpha}^T\matrix{K}\vec{\alpha} = \mu\vec{\alpha}^T\matrix{I}\vec{\alpha}$

— Dikran Marsupial

Teşekkür ederim. Bu konuda size geri döneceğim. Şu anda sizin anlayış seviyenizde değilim. Daha fazla düşünmem gerek :)

— Çağdaş Özgenç

@CagdasOzgenc sorun değil, standart metinlerin çoğu bunu beynimin de acıtmasına neden olan çekirdek fonksiyonunun öz işlevleri aracılığıyla açıklıyor! ; o)

— Dikran Marsupial