Destek Vektör Makinesi nitelikler arasındaki korelasyona duyarlı mı?

Bir SVM'yi vakaları (DOĞRU / YANLIŞ) 20 özelliğe göre sınıflandırması için eğitmek istiyorum. Bu özelliklerin bazılarının yüksek derecede ilişkili olduğunu biliyorum. Bu yüzden sorum şu: SVM özellikler arasındaki korelasyona veya artıklığa duyarlı mı? Referans var mı?

svm multicollinearity kernel-trick

— user7064
kaynak

Tahminim hayır olacaktır, çünkü bir değişkene dayalı bir ayırma oluşturmak diğer ilişkili değişkenleri daha fazla ayırma konusunda zayıflatacaktır. Bununla birlikte, hangi değişkenin seçildiği konusunda bazı kararsızlıklar olabilir.

— mandata

Doğrusal bir SVM veya RBF çekirdeğinden mi bahsediyorsunuz, yoksa ...?

— Dougal

Hmmmm, bilmiyorum ... cevap buna bağlı mı?

— user7064

Evet kesinlikle. İsterseniz korelasyonlarla açıkça ilgilenmek için bir çekirdek tasarlayabilirsiniz.

— Dougal

@Dougal: Korelasyonun etkisini ortadan kaldırmak için yöntemler varsa, bu standart SVM'nin korelasyona duyarlı olduğu anlamına gelmez mi?

— cfh

Doğrusal çekirdek: Buradaki etki, doğrusal regresyondaki çok doğrusal doğrusallığa benzer. Farklı ağırlık vektörleri benzer çıktılara sahip olacağından öğrenilen modeliniz egzersiz setindeki küçük değişikliklere karşı özellikle kararlı olmayabilir. Bununla birlikte, eğitim seti tahminleri oldukça istikrarlı olacaktır ve aynı dağılımdan gelmeleri durumunda tahminleri test edecektir.

RBF çekirdeği: RBF çekirdeği yalnızca veri noktaları arasındaki mesafelere bakar. Böylece, aslında 11 özelliğiniz olduğunu düşünün, ancak bunlardan biri 10 kez tekrarlanır (oldukça aşırı bir durum). Daha sonra bu tekrarlanan özellik, diğer özelliklerden olan mesafeye 10 kat daha fazla katkıda bulunacak ve öğrenilen model muhtemelen bu özellikten çok daha fazla etkilenecektir.

$d(x, y) = \sqrt{ (x - y)^T S^{-1} (x - y) }$ $S$ $x$ $C x$ $C$ $S^{-1} = C^T C$ $S^{-1}$

— Dougal
kaynak

Bu çok ilginç bir cevap; Bu tür problemlerin nasıl azaltılacağı hakkında daha fazla bilgi almak istiyorum. Bir veya iki referans ekleyebilir misiniz?

— Sycorax, Reinstate Monica'nın

İyi bir el bilmiyorum, ama belki bu gece bir tanesine biraz bakacağım.

— Dougal

Müthiş! Harika bir makale bulursan bana gelen kutusunu gönder. (+1) cihazımın sizi 3 binden fazla yapabileceğine sevindim. (-:

— Sycorax, Reinstate Monica'nın

Mahalanobis mesafesindeki kovaryans matrisinin tersi anahtardır. Güvenilir bir şekilde tahmin edebiliyorsanız, bu etkilenme açıklanabilir.

— Vladislavs Dovgalecs