SVM'deki çekirdeklerin farkı?

26

Birisi lütfen bana SVM'deki çekirdekler arasındaki farkı söyleyebilir mi:

Doğrusal
Polinom
Gauss dili (RBF)
sigmoid

Çünkü çekirdeğin girdi alanımızı yüksek boyutsallık özellikli alanla eşleştirmek için kullanıldığını biliyoruz. Ve bu özellik alanında, doğrusal olarak ayrılabilir sınırı buluruz.

Ne zaman kullanılırlar (hangi şartlar altında) ve neden?

— user3378327
kaynak

4

Doğrusal çekirdek, beklediğiniz şeydir, doğrusal bir model. Polinom çekirdeğinin benzer olduğuna inanıyorum, ancak sınır bazı tanımlı fakat keyfi bir düzende

(örneğin, sipariş 3: ). $a= b_1 + b_2 \cdot X + b_3 \cdot X^2 + b_4 \cdot X^3$

RBF, veri noktaları etrafındaki normal eğrileri kullanır ve bunları, karar sınırının, toplamın 0,5 değerinin üzerinde olduğu eğriler gibi bir topoloji koşulu ile tanımlanabilmesi için toplar. (bu resme bakın )

Lojistik değerin bir değerden daha büyük olduğu yere göre eğrileri tanımlamak için kullanılan bir lojistik fonksiyonun kullanıldığı lojistik regresyon modeline benzemediği sürece sigmoid çekirdeğinin ne olduğundan emin değilim. vaka.

— John Yetter
kaynak

Öyleyse, eğer lineer çekirdeği kullanırsak, ayrılabilir hiper düzlemi (sınır) alabiliriz. ve eğer polinom veya RBF çekirdeği kullanırsak, (polinom için) hiperlan gruplanmış sınıfların bir çemberi olabilir (RBF için) ve eğri ?? bu doğru mu?? scikit-learn.org/stable/modules/svm.html

— user3378327 21.03.2014

Her çekirdek kendi sınırlarının yüksek boyut versiyonları için çalışır. senin sorunun cevabı bu mu? Bildiğim çekirdeğin üç boyutu ile sınırlı değilsiniz.

— John Yetter,

Sadece netleştirmek istiyorum. Yani lineer çekirdeği kullanarak sınır lineer mi? RBF için gruplandırılmış sınıfın bir daire gibidir? ve polinom için, polinomun derecesine göre eğri olabilir.

— user3378327 21.03.2014

RBF'nin gruplandırılmış bir sınıf dairesi olduğunu söyleyemem. Anladığım kadarıyla her veri noktasında normal dağılıma dayalı bir fonksiyon uyguluyor ve bu fonksiyonları topluyor. Ardından, bu işlev üzerinde belirli bir değeri temsil eden eğri tarafından bir sınır oluşur. Bir SVM kütüphanesine katkıda bulunan biri içeri girebilirse, bu yardımcı olabilir. Diğer iki çekirdeği anlamanızın doğru olduğunu düşünüyorum.

— John Yetter, 21.04

U, Linier Kernel'in Kernel'i kullanarak beklediğimden (daha küçük ayrılabilir bir sınıf elde etmek için) olduğunu söyledi. ve SVM sınıflandırıcısını kullanarak bunu LINIER SVM olarak adlandırdık. Fakat SVM'de çekirdeği olmayan ayrılabilir verileri nasıl elde edersek. Biz buna ne diyoruz? Hala Linier SVM veya Linier Olmayan SVM ??

— kullanici3378327

11

Okuyucuların çekirdekler hakkındaki temel bilgilerinden faydalanma.

Doğrusal Çekirdek: $K(X, Y) = X^T Y$

Polinom çekirdeği: $K(X, Y) = (γ\cdot X^T Y + r)^d , γ > 0$

Radyal temel işlevi (RBF) Çekirdek: basit biçimde şeklinde yazılabilir) $K(X, Y) = \exp(\|X-Y\|^2/2σ^2)$ $\exp(-γ \cdot \|X - Y\|^2), γ > 0$

Sigmoid Çekirdeği: Lojistik regresyonda sigmoid fonksiyonuna benzeyen . $K(X, Y) = \tanh(γ\cdot X^TY + r)$

Burada , ve çekirdek parametreleridir. $r$ $d$ $γ$

— Ashok Choudhary
kaynak

3

Cevabınızdaki bilgiler doğru olsa da, burada sorulan soruyu cevapladığını sanmıyorum, bu daha çok aralarındaki pratik farkın ne olduğuna, yani birinin ne zaman kullanılacağına yöneliktir .

— Firebug,

1

Şaşırtıcı şekilde bu basit tanımları bulmak zor. Onlar, çekirdek farklılıklarından bahsederken sunulan ilk şey olmalı, ancak bunları belirtmek için yaygın bir başarısızlık var.

— cammil

Bunlar için resmi bir kaynak var mı? (Onları test ettim ve doğru gözüküyorlar, ama onları alıntılayabilmek istiyorum.)

— Christian Eriksson

6

Bu soruya teorik ve pratik açıdan cevap verilebilir. No Free Lunch teoremine göre teorik olarak teorem, bir çekirdeğin diğerinden daha iyi çalışması için hiçbir garanti olmadığını belirtir. Bu asla bilmediğiniz bir prioridir ve hangi çekirdeğin daha iyi çalışacağını öğrenemezsiniz.

Pratik açıdan aşağıdaki sayfaya bakın:

SVM için çekirdek nasıl seçilir?

— Gnattuha
kaynak

1

Bir çekirdeğin neye "iyi" olduğu ya da ne zaman kullanılması gerektiği üzerine düşünürken, kesin ve hızlı kurallar yoktur.

Sınıflandırıcıysanız / regresör belirli bir çekirdekle iyi performans gösteriyorsa, başkasına geçmeyi düşünmeniz uygundur.

Özellikle bir sınıflandırma modeli ise, çekirdeğinizin nasıl performans gösterebileceği hakkında fikir sahibi olmak bazı görselleştirme örneklerini inceleyerek elde edilebilir, örneğin https://gist.github.com/WittmannF/60680723ed8dd0cb993051a7448f7805

— İrade
kaynak