Gauss çekirdeğini PCA için bu kadar büyülü kılan şey nedir?

67

Gaussian ve polinom çekirdekli çekirdek PCA ( 1 , 2 , 3 ) hakkında okuyordum .

Gauss çekirdeği görünüşte herhangi bir doğrusal olmayan veriyi istisnai olarak nasıl ayırır? Lütfen sezgisel bir analiz ve mümkünse matematiksel olarak ilgili bir analiz yapın.
Gauss çekirdeğinin (ideal ) diğer çekirdeğin sahip olmadığı bir özellik nedir ? Yapay sinir ağları, SVM'ler ve RBF ağları akla geliyor. $\sigma$
Neden normu bir Cauchy PDF yoluyla koyup aynı sonuçları beklemiyoruz?

— Simon Kuang
kaynak

1

+1. Neredeyse gözden kaçan mükemmel bir soru, çünkü [pca] etiketi yoktu! Şimdi düzenlendi.

— amip diyor Reinstate Monica

4

İyi soru. Cevabın "ah evet, diğer pek çok çekirdek de işe yarayacağını ancak gaussların iyi biliniyor / kolay" olup olmadığını merak ediyorum

— Stumpy Joe Pete

@StumpyJoePete Bunun önemsiz bir cevap olduğunu sanmıyorum. Başka hangi dağılımın konum parametresi de ortalama? Başka hangi dağılımların ölçek parametresi de varyansıdır? Başka hangi dağıtım evrensel olarak sezgiseldir? Kesinlikle Cauchy dağılımı değil - bir anlamı bile yok !

— shadowtalker

3

@ssdecontrol Yanlışlıkla ispatlandığım için mutluyum; Hem soruyu hem de cevaplardan birini düzelttim - bence sıkıcı, cana yakın, deflasyonal cevabım, gerçek bir cevabın çözmemesi gereken iyi bir temerrüttür.

— Stumpy Joe Pete

Bunun yardımcı olabileceğini düşünüyorum: stats.stackexchange.com/questions/168051/…

54

Bence büyünün anahtarı pürüzsüzlük. Takip eden uzun cevabım, sadece bu pürüzsüzlük hakkında açıklamaktır. Beklediğiniz bir cevap olabilir veya olmayabilir.

Kısa cevap:

Pozitif kesin bir çekirdek verildiğinde , karşılık gelen işlev alanı . Fonksiyonların özellikleri çekirdek tarafından belirlenir. Eğer bir Gauss çekirdeği ise, deki fonksiyonların çok düzgün olduğu ortaya çıktı. Bu nedenle, öğrenilmiş bir işlev (örneğin, bir regresyon işlevi, çekirdek PCA'daki gibi RKHS'deki temel bileşenler) çok yumuşaktır. Genellikle düzgünlük varsayımı, ele almak istediğimiz çoğu veri kümesi için mantıklıdır. Bu bir Gauss çekirdeğinin neden sihirli olduğunu açıklar. $k$ $\mathcal{H}$ $k$ $\mathcal{H}$

Bir Gauss çekirdeğinin neden pürüzsüz işlevler verdiğine dair uzun cevap:

Pozitif kesin bir çekirdek , (dolaylı olarak) bir iç ürün özellik vektörü için , giriş yapılmış ve Hilbert alanıdır. gösterimi ve arasında bir iç ürün anlamına gelir . Amacımız, nin olağan Öklid uzayı olduğunu ancak muhtemelen sonsuz sayıda boyutta olduğunu hayal edebilirsiniz . gibi uzun süren normal vektörleri hayal edin. $k(x,y)$ $k(x,y)=\left\langle \phi(x),\phi(y)\right\rangle _{\mathcal{H}}$ $\phi(x)$ $x$ $\mathcal{H}$ $\left\langle \phi(x),\phi(y)\right\rangle$ $\phi(x)$ $\phi(y)$ $\mathcal{H}$ $\phi(x)=\left(\phi_{1}(x),\phi_{2}(x),\ldots\right)$ . Çekirdek yöntemlerinde, , çekirdek Hilbert uzayını (RKHS) çoğaltma denilen bir işlev alanıdır. Bu alan `` reproducing property '' adında özel bir özelliğe sahiptir ki bu . Bu değerlendirmek için söylüyor (sonsuz uzunlukta belirtildiği gibi) için ilk önce bir özellik vektörü inşa, . Sonra için özellik vektörü inşa ile gösterilir (sonsuz uzunluğunda). in değerlendirmesi , ikisinin iç ürünü alınarak yapılır. Açıkçası, pratikte hiç kimse sonsuz derecede uzun bir vektör inşa etmeyecek. Biz sadece kendi iç ürün hakkında bakım yana, sadece doğrudan çekirdek değerlendirmek $\mathcal{H}$ $f(x)=\left\langle f,\phi(x)\right\rangle$ $f(x)$ $f$ $x$ $\phi(x)$ $f(x)$ $k$ . Açık özelliklerin hesaplanmasının atlanması ve doğrudan iç ürününün hesaplanması "çekirdek numarası" olarak bilinir.

Özellikleri nelerdir?

Ne olduğunu özellikleri . Bir çekirdek verildiğinde , özellikler benzersiz değildir. Fakat benzersiz olarak belirlenir. Fonksiyonların düzgünlüğünü açıklamak için, Fourier özelliklerini düşünelim. Bir çeviri değişmez çekirdek , yani, yani, çekirdek yalnızca iki argümanın farkına bağlıdır. Gaussian çekirdeği bu özelliğe sahiptir. Let Fourier dönüşümü ifade . $\phi_{1}(x),\phi_{2}(x),\ldots$ $k$ $\left\langle \phi(x),\phi(y)\right\rangle$ $k$ $k(x,y)=k(x-y)$ $\hat{k}$ $k$

Bu Fourier bakış olarak, özellikleri tarafından verilmektedir . Bu, fonksiyonunuzun özellik gösteriminin , çekirdeğin Fourer dönüşümü ile bölünmüş Fourier dönüşümü tarafından verildiğini söylüyor . Özelliği temsili olup, bir burada . Birisi, çoğaltma özelliğinin elinde bulunduğunu gösterebilir (okuyucular için bir alıştırma). $f$ $f:=\left(\cdots,\hat{f}_{l}/\sqrt{\hat{k}_{l}},\cdots\right)$ $f$ $k$ $x$ $\phi(x)$ $\left(\cdots,\sqrt{\hat{k}_{l}}\exp\left(-ilx\right),\cdots\right)$ $i=\sqrt{-1}$

Her Hilbert uzayında olduğu gibi, uzaya ait tüm elemanların sınırlı bir normları olmalıdır. Bir nin kare normunu düşünelim : $f\in\mathcal{H}$

$\|f\|_{\mathcal{H}}^{2}=\left\langle f,f\right\rangle _{\mathcal{H}}=\sum_{l=-\infty}^{\infty}\frac{\hat{f}_{l}^{2}}{\hat{k}_{l}}.$

Peki bu norm ne zaman sınırlı, yani, uzaya mı ait? Zaman olduğu daha hızlı düşer toplamı meyilli olacak şekilde. Şimdi, bir Gauss çekirdeğinin Fourier dönüşümü $f$ $\hat{f}_{l}^{2}$ $\hat{k}_{l}$ $k(x,y)=\exp\left(-\frac{\|x-y\|^{2}}{\sigma^{2}}\right)$

Başka bir Gaussian üstel olarak hızlı azalır . Eğer , bu boşlukta olacaksa, Fourier dönüşümü bile daha hızlı . Bu, işlevin yalnızca yüksek ağırlıklara sahip birkaç düşük frekans bileşenine etkin biçimde sahip olacağı anlamına gelir. Sadece düşük frekanslı bileşenleri olan bir sinyal çok fazla "kıpırdatmaz" değildir. Bu, bir Gauss çekirdeğinin neden pürüzsüz bir işlev verdiğini açıklar. $\hat{k}_{l}$ $l$ $f$ $k$

Ekstra: Laplace çekirdeği ne durumda?

Bir Laplace çekirdeği , Fourier dönüşümü , üstelden çok daha yavaş düşen bir Cauchy dağılımıdır. Bir Gauss çekirdeğinin Fourier dönüşümünde işlev. Bu, fonksiyonunun daha yüksek frekans bileşenlerine sahip olacağı anlamına gelir . Sonuç olarak, bir Laplace çekirdeği tarafından verilen işlev, bir Gauss çekirdeği tarafından verilenden daha "kaba" dır. $k(x,y)=\exp\left(-\frac{\|x-y\|}{\sigma}\right)$ $f$

Gauss çekirdeğinin diğer çekirdeğin sahip olmadığı bir özellik nedir?

Gaussian genişliğinden bağımsız olarak, Gaussian çekirdeğinin “evrensel” olduğu bir özelliktir. Sezgisel olarak, bu sınırlı bir sürekli fonksiyon verilen aracı (rasgele), bir işlev vardır şekilde ve anlamında yakın ( isteğe bağlı kesinliğe kadar gerekli. Temel olarak, bu Gaussian çekirdeğinin keyfi olarak "güzel" (sınırlı, sürekli) işlevleri yaklaştırabilecek işlevler verdiği anlamına gelir. Gauss ve Laplace çekirdekleri evrenseldir. Örneğin bir polinom çekirdeği değildir. $g$ $f\in\mathcal{H}$ $f$ $g$ $\|\cdot\|_{\infty})$

Neden normu bir Cauchy PDF yoluyla koyup aynı sonuçları beklemiyoruz?

Genel olarak, ortaya çıkan pozitif kesin olduğu sürece istediğiniz her şeyi yapabilirsiniz . Olumlu kesinlik için , ve (doğal sayılar kümesi) . Eğer kesin olumlu değildir, o zaman bir iç ürün alana karşılık gelmez. Tüm analizler kesildi, çünkü daha önce de belirtildiği gibi fonksiyon alanına sahip değilsiniz . Bununla birlikte, ampirik olarak çalışabilir. Örneğin, hiperbolik tanjant çekirdeği ( bu sayfadaki 7 numaralı sayfaya bakın ). $k$ $\sum_{i=1}^{N}\sum_{j=1}^{N}k(x_{i},x_{j})\alpha_{i}\alpha_{j}>0$ $\alpha_{i}\in\mathbb{R}$ $\{x_{i}\}_{i=1}^{N}$ $N\in\mathbb{N}$ $k$ $\mathcal{H}$

$k(x,y) = tanh(\alpha x^\top y + c)$

sinir ağlarında sigmoid aktivasyon birimlerini taklit etmek için tasarlanan, sadece bazı ve ayarları için kesin bir . Yine de pratikte çalıştığı bildirildi. $\alpha$ $c$

Peki ya diğer özellikler?

Özelliklerin benzersiz olmadığını söyledim. Gauss çekirdeği için, Mercer genişlemesiyle başka bir dizi özellik de verilmiştir . Ünlü Gaussian süreç kitabının 4.3.1 bölümüne bakınız . Bu durumda, özellikleri değerlendirmeye Hermite polinomları vardır . $\phi(x)$ $x$

— wij
kaynak

2

Henüz ödülü vermek istemiyorum ama bu cevabı

— vermeyi arzu ediyorum

Sonunda bu soru harika bir cevap aldı! (+1) Burada kullandığınız notasyon ile kısaca kafam karıştı: - ve aşağıdaki paragraflarda. Daha açık bir notasyon , orijinal uzaya ve bir vektöre etki eden fonksiyonunu ayırarak daha net olmaz , nerede işlevseldir? Bu arada, hangi işlevlerin “çoğaltma özelliği” tarafından “çoğaltılması” garanti edilir? Herşey? Sürekli? Düz, pürüzsüz?

f (x) = ⟨ f, ϕ (x) ⟩

$f(x)=\left\langle f,\phi(x)\right\rangle$

f (x) = ⟨ Ψ (f), ϕ (x) ⟩

$f(x)=\left\langle \Psi(f),\phi(x)\right\rangle$

f (\cdot)

$f(\cdot)$

Ψ (f) \in H

$\Psi(f) \in \mathcal H$

Ψ (\cdot)

$\Psi(\cdot)$

— amip diyor Reinstate Monica

@ amoeba Literatürde, insanlar ve fonksiyonun kendisinin bir temsilini ayırt etmezler . Gerekirse, bazen kullandıkları temsil ve için bir fonksiyon için. alanındaki tüm işlevler çoğaltma özelliğine sahiptir. Pürüzsüz ya da değil, çekirdek tarafından belirtilir. :)

f

$f$

f

$f$

f (\cdot)

$f(\cdot)$

H

$\mathcal{H}$

— wij

Yayın güncellendi. Tanh çekirdeğine biraz daha eklendi.

— wij

Hmmm, sanırım burada kafam karıştı. Veri noktalarının yaşadığı bir boşluk ile başlıyoruz . Sonra bir pozitif tanımlı çekirdek seçmek . Sonra Teorem 1'in tuttuğu iddiasındayız : , bazı Hilbert uzayında nokta ürünü olarak gerçekleştirilebilir , öyle ki , . Tamam. Ve şimdi siz de etki eden herhangi bir fonksiyonunun , gösteriminin skaler bir ürünü olarak gerçekleştirilebileceğini söylüyorsunuz.

X

$\mathcal X$

x

$x$

k (\cdot, \cdot) : X \times X \to R

$k(\cdot, \cdot): \mathcal X \times \mathcal X \to \mathbb R$

k

$k$

H

$\mathcal H$

k (x, y) = ⟨ ϕ (x), ϕ (y) ⟩

$k(x,y) = \langle \phi(x), \phi(y)\rangle$

ϕ : X \to H

$\phi:\mathcal X \to \mathcal H$

f (x)

$f(x)$

X

$\mathcal X$

f \in H

$f\in \mathcal H$ ile ? Bu doğru mu?

ϕ (x)

$\phi(x)$

— amip diyor Reinstate Monica

18

Bu soruya cevap vermek için elimden gelenin en iyisini yapacağım çünkü konuyla ilgili bir uzman değilim (tam tersi), ama alan ve konuyu merak ediyorum çünkü iyi bir eğitim deneyimi olabileceği fikri ile birlikte . Her neyse, işte bu konudaki kısa amatör araştırmamın sonucudur.

TL; DR : "Düzenleme operatörleri ve destek vektörü çekirdeği arasındaki bağlantı" araştırma belgesinden şu soruyu kısa cevap olarak kabul ediyorum :

Gauss çekirdekleri, genel pürüzsüzlük varsayımları altında iyi performans gösterme eğilimindedir ve özellikle veriler hakkında ek bilgi mevcut değilse, göz önünde bulundurulmalıdır.

Şimdi, ayrıntılı bir cevap (anlayışımın en iyisine; matematik detayları için lütfen referansları kullanın).

Bildiğimiz gibi, temel bileşen analizi (PCA) , tek başına ve sonraki verilerin sınıflandırılması için boyutsallığın azaltılmasında oldukça popüler bir yaklaşımdır : http://www.visiondummy.com/2014/05/feature-extraction-using-pca . Ancak, veriler doğrusal olmayan bağımlılıklar taşıyorsa (başka bir deyişle doğrusal olarak ayrılmaz ), geleneksel PCA uygulanabilir değildir (iyi performans göstermez). Bu gibi durumlarda, başka yaklaşımlar kullanılabilir ve doğrusal olmayan PCA bunlardan biridir.

PCA'nın çekirdek işlevini kullanmaya dayandığı yaklaşımlar genellikle "çekirdek PCA" ( kPCA ) terimini kullanan bir şemsiye terimiyle ifade edilir . Kullanılması Gauss radyal tabanlı fonksiyon (RTF) çekirdeği muhtemelen en popüler çeşididir. Bu yaklaşım çeşitli kaynaklarda ayrıntılı olarak açıklanmaktadır, ancak bu blog yazısında Sebastian Raschka'nın mükemmel bir açıklamasını çok seviyorum . Bununla birlikte, Gaussian RBF dışındaki çekirdek fonksiyonlarını kullanma olasılığından bahseden post, popülerliğinden dolayı ikincisine odaklanıyor. Çekirdek yaklaşımlarını ve çekirdek numaralarını tanıtan bu güzel blog yazısı , PCA için Gauss'un çekirdek popülaritesi için olası bir neden daha belirtiyor: sonsuz boyutluluk.

Quora ile ilgili birkaç cevapta ek görüşler bulunabilir. Özellikle, bu mükemmel tartışmayı okumak , Gaussian çekirdeğinin popülaritesinin olası nedenleri hakkında aşağıdaki gibi birkaç noktayı ortaya koymaktadır.

Gauss çekirdekleri evrenseldir :

Gauss çekirdeği evrensel çekirdeklerdir, yani uygun düzenlileştirme ile kullanımları, bir sınıflandırıcının hem tahmin hem de tahmin hatalarını en aza indiren küresel olarak en uygun öngörücüyü garanti eder.

Gauss çekirdeği daireseldir (yukarıda belirtilen sonsuz boyutsallığa yol açar?)
Gauss çekirdekleri, "oldukça değişken arazileri" temsil edebilir
Yukarıdaki ana sonucu destekleyen aşağıdaki nokta, yazarın atıfta bulunarak daha iyi bir şekilde aktarılmasını sağlar:

Gaussian RBF çekirdeği çok popülerdir ve özellikle veri ve etki alanı hakkında uzman bilgisi olmadığında iyi bir varsayılan çekirdeği oluşturur, çünkü bir tür polinom ve doğrusal çekirdeği de sağlar. Lineer Çekirdekler ve Polinom Çekirdeği, Gaussian RBF çekirdeğinin özel bir halidir. Gaussian RBF çekirdekleri parametrik olmayan bir modeldir, bu temelde modelin karmaşıklığının potansiyel olarak sınırsız olduğu anlamına gelir çünkü analitik fonksiyonların sayısı sonsuzdur.

Gauss çekirdeği optimaldir ( pürüzsüzlük konusunda , burada daha fazla oku - aynı yazar):

Bir Gauss Kernel sadece bir grup geçiş filtresidir; en düzgün çözümü seçer. [...] Gaussian Kernel, yüksek dereceli türevlerin sonsuz toplamı en hızlı bir şekilde birleştiğinde en iyi sonuç verir - ve bu en yumuşak çözümler için olur.

Son olarak, bu güzel cevabın ek noktaları :

Gauss çekirdeği sonsuz karmaşık modelleri destekliyor
Gauss çekirdekleri daha esnektir

NOTLAR:

Gaussian çekirdeğinin , özellikle veriler hakkında önceden bir bilgi olmadığında, en iyi seçenek olduğu konusunda yukarıda belirtilen nokta , bu CV cevabındaki şu cümle ile desteklenir :

Uzman bilgisinin yokluğunda, Radyal Temel İşlev çekirdeği iyi bir varsayılan çekirdek yapar (bir kez kurduktan sonra doğrusal olmayan bir model gerektiren bir problemdir).

Gaussian RBF çekirdeği ve standart Gaussian çekirdeği arasındaki temel farkları merak edenler için bu cevap ilgi çekici olabilir: https://stats.stackexchange.com/a/79193/31372 .

KPCA'yı zevk veya iş için uygulamak isteyenler için bu güzel blog yazısı yardımcı olabilir. İstatistiksel analiz, makine öğrenmesi, sinyal işleme ve çok daha fazlası için çok ilginç bir .NET açık kaynaklı çerçeve olan Accord.NET'in yazarlarından biri (yaratıcıları?) Tarafından yazılmıştır .

— Aleksandr Blekh
kaynak

5

Bu cevabı oluşturmak için harcadığınız çabayı takdir ediyorum ve takdir ediyorum, ama aynı zamanda çok yetkili olmayan ve yalnızca doğru olabilecek ama elverişli ancak bu tür genel el dalgası açıklamaları sağlayan bir çok kaynaktan alıntı yaptığını söylemeliyim. ayrıca tamamen yanlış olun. Böylece RBF çekirdeği, sonsuz boyutlu üreyen Hilbert uzayına sahip izotropik bir sabit çekirdektir. İyi! Bu özelliklere sahip başka çekirdekler var mı? Öyleyse, neden RBF hepsinden daha iyi olsun ki? Aslında, RBF'nin bu gibi rakipleri geride bıraktığı iddiasına ampirik bir destek var mı?

— amip diyor Reinstate Monica

@ amoeba: Nazik sözleriniz için teşekkür ederim. Kullandığım kaynaklar ile ilgili olarak, kısmen haklısınız - bu bir karışım ve bazı kaynaklar sadece görüşler. Bununla birlikte, bazı kaynaklar (yani, blog gönderileri) kendileri katı yazılardan alıntı yaparlar. Bu noktada, titizliğinden çok bir açıklamanın kalitesi beni daha çok etkiledi. Sorularınız devam ettikçe onları daha sonra ele almaya hazırlanıyorum. Biraz daha teori okumalıyım. Kaynakları zaten ampirik destekli derledim, ancak sistemleştirilmeleri için daha fazla zamana ihtiyacım var (ve biraz uyku, :).

— Aleksandr Blekh

1

Gaussian'ın gerçek simetrik dağılımlar arasında maksimum entropiye sahip olduğu gerçeğinin, genel varsayım altında iyi performans konusunda ilk noktasında bir rol oynadığını

— hissediyorum

2

Ayrıca @AleksandrBlekh bu fantastik bir derlemedir. İnsanlar Quora'daki çaput ama başka burada cevap bağlantı daha az yetkili olduğunu

— shadowtalker

@ssdecontrol: Nazik sözleriniz için teşekkürler. Konu hakkında aynı sayfada olmamızdan memnunum. Amipanın yorumuna değinen ek bilgilerim var, bu yüzden ilgileniyorsanız bu alanı izleyin.

— Aleksandr Blekh

8

İki kuruşumu koyalım.

Gaussian çekirdekleri ile ilgili düşüncelerim bir anlamda en yakın komşu sınıflandırıcılarıdır. Bir Gauss çekirdeğinin yaptığı, her bir noktayı veri kümesindeki diğer tüm noktalara olan mesafeyle temsil etmesidir. Şimdi doğrusal veya polinom sınırları olan sınıflandırıcıları düşünün, sınırlar belirli şekillerle sınırlıdır. Ancak, en yakın komşuya baktığınızda, sınır pratikte herhangi bir şekilde olabilir. Gauss çekirdeğini neden parametrik olmayan olarak düşündüğümüzü düşünüyorum, yani verilere bağlı olarak sınırları ayarlıyoruz. Bunu düşünmenin bir başka yolu Gauss çekirdeği, bir bölgedeki yerel şekle, en yakın bir komşunun yerel bölgedeki diğer noktalara olan mesafeye bakılarak sınırı yerel olarak nasıl ayarladığına benzer şekilde ayarlamasıdır.

Bunun için matematiksel bir tartışmam yok, ama Gaussian çekirdeğinin gerçekte sonsuz boyutlu bir uzaya haritalandırdığı gerçeğinin başarısıyla bir ilgisi olduğunu düşünüyorum. Doğrusal ve polinom çekirdekleri için nokta ürünler sonlu boyutlu uzaylarda alınır; bu yüzden daha geniş bir alanda bir şeyler yapmak daha güçlü görünüyor. Umarım birileri bu şeyleri daha iyi anlar. Bu, sonsuz boyutlu boşluklara sahip diğer çekirdekleri bulabilirsek, onların da oldukça güçlü olması gerektiği anlamına gelir. Ne yazık ki, böyle bir çekirdeğe aşina değilim.

Son noktan için, Cauchy pdf ya da bir şekilde diğer noktalara olan mesafeyi ölçen diğer pdf'lerin eşit derecede iyi çalışması gerektiğini düşünüyorum. Yine, bunun için iyi bir matematiksel tartışmam yok, ancak en yakın komşuyla olan bağlantı bunu mantıklı kılıyor.

Düzenle:

Gauss çekirdeklerini en yakın komşu sınıflandırıcı olarak kullanan bir sınıflandırıcının nasıl düşünüleceğine dair bazı fikirler. İlk önce, en yakın komşu sınıflandırıcının ne yaptığını düşünelim. Temel olarak, en yakın bir komşu sınıflandırıcı, noktalar arasındaki mesafeleri girdi olarak kullanan standart bir sınıflandırıcıdır. Daha resmi olarak, tüm diğer noktalara olan mesafesini hesaplayarak veri kümesindeki her noktası için bir özellik gösterimi oluşturduğumuzu hayal edin . Yukarıda, bir mesafe fonksiyonudur. O zaman en yakın komşu sınıflandırıcısının yaptığı şey, bu özellik sunumuna dayanan bir nokta için sınıf etiketini ve veriler için sınıf etiketlerini tahmin etmektir. nerede $\phi_i$ $x_i$

ϕ_{i} = (d (x_{i}, x_{1}), d (x_{i}, x_{2}), \dots, d (x_{i}, x_{n}))

$\phi_i = (d(x_i,x_1), d(x_i, x_2), \ldots, d(x_i, x_n))$

d

$d$

p_{i} = f (ϕ_{i}, y)

$p_i = f(\phi_i, y)$

p_{i}

$p_i$ veri noktası için öngörü ve için sınıf etiketlerin bir vektördür .

x_{i}

$x_i$

y

$y$

x_{1}, x_{2}, \dots, x_{n}

$x_1, x_2, \ldots, x_n$

Çekirdekler hakkındaki düşüncelerim benzer şeyler yapmalarıdır; veri kümesindeki diğer noktalarla birlikte çekirdek değerlerini kullanarak her noktanın bir özellik gösterimini yaratırlar. En yakın komşu davaya benzer şekilde, daha resmi olarak bu . Eğer çekirdek fonksiyonumuz en yakın komşu sınıflandırıcıda kullandığımız mesafe ölçülerine bağlı bir ölçü ise, çekirdek tabanlı sınıflandırıcı en yakın komşu modeline benzer olacaktır.

ϕ_{i} = (k (x_{i}, x_{1}), k (x_{i}, x_{2}), \dots, k (x_{i}, x_{n}))

$\phi_i = (k(x_i, x_1), k(x_i, x_2), \ldots, k(x_i, x_n))$

Not: kullanarak doğrudan bu gösterimleriyle , ancak dolaylı olarak yaptıkları şeyi düşünüyorum. $\phi_i$

— goker
kaynak

En yakın komşuların yorumu ilginç. Bunu biraz daha genişletebileceğini düşünüyor musun? Galiba anlıyorum ama anladığımdan emin değilim.

— shadowtalker,

@ ssdecontrol Bazı yorumlar ekledim; Umarım yardımcı olurlar.

— sigara içen

6

Bunun nedeni, Gaussian çekirdekleri için VC boyutunun sonsuz olmasıdır ve bu nedenle, parametreler (sigma) için doğru değerler verildiğinde, rasgele olarak çok sayıda örneği doğru şekilde sınıflandırabilirler.

RBF'ler iyi çalışır çünkü matrisinin tam sırada olmasını sağlarlar . Buradaki fikir, ve çapraz olmayan terimlerin değerini düşürerek keyfi olarak küçük yapılabileceğidir . Çekirdeğin, özellik alanındaki bir nokta ürününe karşılık geldiğine dikkat edin. Bu özellik alanında boyut sonsuzdur (üstel serinin genişlemesi dikkate alınarak). Böylece bir kişi, bu noktaları farklı boyutlarda yansıtmak olarak görebilir, böylece onları ayırabilirsiniz. $K(x_{i},x_{j})$ $K(x_{i},x_{i}) > 0$ $\sigma$

Bunun aksine, düzlemde yalnızca dört noktaya bölünebilen doğrusal çekirdekler örneğini düşünün .

Çok teknik olmasına rağmen bu makaleye bir göz atabilirsiniz . SVM'lerdeki standart kitaplardan biri bu konsepti daha erişilebilir hale getirmelidir.

— jpmuc
kaynak

1

'RBF'ler iyi çalışıyor çünkü matrisinin tam bir sırada olmasını sağlıyorlar': bu, her geçerli (Mercer) çekirdek fonksiyonunun (doğrusal olanı da dahil olmak üzere) doğru olduğundan nasıl açıkladığından emin değilim. -RBF’nin performansı.

K (x_{i}, x_{j})

$K(x_i,x_j)$

— user603

2

@ User603'ün yazdığı şeye ek olarak: sonsuz VC boyutunda (hedef alanın boyutu) başka popüler çekirdekler var mı? Eğer öyleyse, o zaman onlar RBF kadar iyi mi?

— amip diyor Reinstate Monica

2

VC boyut bir çekirdeğin değil, bir sınıflandırıcı kümesinin özelliği değil midir?

— wij

2

@ user603: bu doğru değil. Mercer çekirdekleri, yalnızca çekirdek matrisinin pozitif yarı-yarı-sınırlı olmasını gerektirir; tekil olabilirler. Örneğin, lineer çekirdek, eğer puan ise, tekil çekirdek matrisleri verir . (Tabii ki, çoğu çekirdek kesin olarak kesin olarak kesindir ve bu nedenle bu Gaussian RBF'nin özel bir özelliği değildir.)

x_{i} = 0

$x_i = 0$

— Dougal