Destek vektör makineleri ve regresyon

26

Orada zaten bir oldu mükemmel tartışma destek vektör makineleri sınıflandırmasını nasıl işlediğine fakat çok destek vektör makineleri regresyona genelleme konusunda kafam karıştı.

Beni aydınlatmak isteyen var mı?

regression machine-learning svm

— Zach
kaynak

17

Temel olarak aynı şekilde genellerler. Çekirdeğe dayalı regresyon yaklaşımı, özelliği dönüştürmek, onu bir vektör uzayına olarak adlandırmak , sonra o vektör uzayında doğrusal bir regresyon yapmaktır. “Boyutluluk laneti” ni önlemek için, dönüştürülen alandaki doğrusal gerileme, sıradan en küçük karelerden biraz farklıdır. Sonuçta dönüştürülmüş alanda regresyon olarak ifade edilebilir ki , eğitim setinden gözlemler, $\mathbf{x}$ $\ell(\mathbf{x}) = \sum_i w_i \phi(\mathbf{x_i}) \cdot \phi(\mathbf{x})$ $\mathbf{x_i}$ verilere uygulanan dönüşüm, nokta ise nokta üründür. Dolayısıyla, doğrusal regresyon birkaç (tercihen çok az sayıda) eğitim vektörü tarafından 'desteklenir'. $\phi(\cdot)$

Tüm matematiksel detaylar, dönüştürülen alanda ('epsilon-duyarsız tüp' veya her neyse) yapılan garip gerileme ve dönüşüm seçiminde, . Bir uygulayıcı için, birkaç serbest parametrenin (genellikle ve regresyonun tanımında ) yanı sıra alan bilgisinin genellikle yararlı olduğu özelliklerin sorusu vardır. $\phi$ $\phi$

— shabbychef
kaynak

Sezgi bakış açısına göre, bu neredeyse "tek bir sınıflandırma" gibidir, burada sınıf "sınır" çizgisi iki sınıfın noktaları arasında değil, noktalardan geçiyor mu?

— Wayne

@Wayne, bu benim anlayışım, evet. Ancak% 100 değilim.

— Zach

5

SVM'ye genel bakış için: Bir Destek Vektör Makinesi (SVM) nasıl çalışır?

Destek vektör regresyonu (SVR) ile ilgili olarak, bu slaytları http://cs.adelaide.edu.au/~chhshen/teaching/ML_SVR.pdf ( mirror ) 'dan çok net buluyorum :

Matlab dokümantasyonunun ayrıca iyi bir açıklaması vardır ve ayrıca optimizasyon çözme algoritmasına da eklenir: https://www.mathworks.com/help/stats/understanding-support-vector-machine-regression.html ( mirror ).

Şimdiye kadar bu cevap sözde epsilon-duyarsız SVM (ε-SVM) regresyonunu sundu. Her iki regresyon sınıflandırması için daha yeni bir SVM çeşidi vardır: En küçük kareler vektör makinesini destekler .

Ek olarak, SVR çoklu çıkış aka çoklu hedef için uzatılabilir, örneğin bakınız {1}.

Referanslar:

{1} Borchani, Hanen, Gherardo Varando, Concha Bielza ve Pedro Larrañaga. "Çok çıkışlı regresyon hakkında bir anket." Wiley Disiplinlerarası İncelemeler: Veri Madenciliği ve Bilgi Keşfi 5, no. 5 (2015): 216-233. https://scholar.google.com/scholar?cluster=10208375872303977988&hl=tr&as_sdt=0,14 ; https://web.archive.org/web/20170628222235/http://oa.upm.es/40804/1/INVE_MEM_2015_204213.pdf

— Franck Dernoncourt
kaynak