SVM'den değişken önem

32

SVM kullanarak değişken (nitelik) önemi nasıl elde edilir?

machine-learning feature-selection svm

19

Ağırlık vektöründe l-1 cezası kullanırsanız, alakasız niteliklere karşılık gelen ağırlıklar otomatik olarak sıfıra ayarlandığı için otomatik özellik seçimini yapar. Bu makaleye bakın . Sıfır olmayan her ağırlığın (mutlak) büyüklüğü, karşılık gelen özelliğin önemi hakkında fikir verebilir.

Ayrıca , özellik seçimini yönlendirmek için SVM'lerden türetilmiş kriterleri kullanan bu makaleye bakın .

— ebony1
kaynak

1

Bu alglerden herhangi biri R'de veya başka bir yazılımda uygulanmış mı?

— George Dontas

5

Evet, R penalizedSVM paketine bir göz atın. Diğer ilgi çekici paketler: cezalandırılmış, elastik ağ, ppls, lars, ya da daha genel olarak: cran.r-project.org/web/views/MachineLearning.html

— chl

7

Isabelle Guyon, André Elisseeff, "Değişken ve Özellik Seçimlerine Giriş", JMLR, 3 (Mar): 1157-1182, 2003. http://jmlr.csail.mit.edu/papers/v3/guyon03a.html

okumaya değer, yaklaşım ve konulara genel bir bakış verecektir. Ekleyeceğim tek şey, özellik seçiminin tahmin performansını mutlaka arttırmaması ve kolayca daha kötü hale getirmesidir (çünkü özellik seçim kriterine uyması kolaydır). (Özellikle doğrusal) SVM'lerin avantajlarından biri, çok sayıda özellikle (normalizasyon parametresini düzgün şekilde ayarlamanızı sağlar) iyi çalışmasıdır, bu nedenle, yalnızca öngörmeyle ilgileniyorsanız, genellikle gerek yoktur.

— Dikran Marsupial
kaynak

2

Ben kitabın tamamını I. Guyon ve iş arkadaşlarından bile tavsiye ederim, j.mp/anblwx . Hastie ve arkadaşlarının ESL kitabı, j.mp/bW3Hr4 , bu 'sıcak' konuyla ilgili ilginç tartışmalar da sunuyor.

— chl

Talebinize katılmıyorum; FS, sunduğu bazı açıklayıcı bilgiler için kendi başına ilginçtir (marker / SNP seçimi, analizin ana amacı olduğunda bir örnektir). Özellik seçiminin üst üste gelmesi elbette bir sorun olmakla birlikte, bunu atlamanın yöntemleri var.

FS'nin zorunlu kestirici önemi geliştirmek zorunda olmadığı ve daha da kötüleştirebileceği kanısındayım. Bilgilendirici özellikleri bulmak içsel öneme sahipse, elbette FS kullanılmalıdır, ancak özellik seçimi kriterinin aşırı derecede uyması halinde (oldukça kolay olan) öngörülebilir performansın tehlikeye girmesi iyi olabilir. Mikro dizi analizi gibi görevler için tahminler için (torbalı) ridge regresyonunu ve temel özellikleri belirlemek için (biyolojiyi anlamak için) LASSO gibi bir şey kullanırdım. Her ikisini de aynı modelde yapmanız gerekmez.

— Dikran Marsupial

1

R kullanırsanız, değişken önemi rminer paketindeki önem metodu ile hesaplanabilir. Bu benim örnek kodum:

library(rminer)
M <- fit(y~., data=train, model="svm", kpar=list(sigma=0.10), C=2)
svm.imp <- Importance(M, data=train)

Ayrıntılı olarak, aşağıdaki bağlantıya bakın https://cran.r-project.org/web/packages/rminer/rminer.pdf

— Takashi Kaneda
kaynak

2

Bu cevap eksik. Bu paketteki değişken öneminin ne ile iletişim kurmaya çalıştığını tanımlamaz.

— Matthew Drury

Örnek kodu ekledim

— Takashi Kaneda