SVM'leri kullanırken neden özellikleri ölçeklendirmem gerekiyor?

Scikit-learn'daki StandardScaler nesnesinin belgelerine göre :

Örneğin, bir öğrenme algoritmasının objektif işlevinde kullanılan birçok öğe (Destek Vektör Makinelerinin RBF çekirdeği veya doğrusal modellerin L1 ve L2 düzenleyicileri gibi) tüm özelliklerin 0 etrafında ortalandığını ve aynı sırayla varyansa sahip olduğunu varsayar. Bir özellik, diğerlerinden daha büyük büyüklük sıralarına sahip bir varyansa sahipse, nesnel işleve hakim olabilir ve tahmin edicinin diğer özelliklerden beklendiği gibi doğru şekilde öğrenememesini sağlayabilir.

Sınıflandırmadan önce özelliklerimi ölçeklemeliyim. Bunu neden yapmam gerektiğini göstermenin kolay bir yolu var mı? Bilimsel makalelere referanslar daha da iyi olurdu. Zaten buldum birini ancak diğer birçok muhtemelen vardır.

— scallywag
kaynak

Yanıtlar:

Tüm çekirdek yöntemleri mesafeye dayanır. RBF çekirdek işlevi $\kappa(\mathbf{u},\mathbf{v}) = \exp(-\|\mathbf{u}-\mathbf{v}\|^2)$ ( basitlik için kullanarak $\gamma=1$ ).

3 özellik vektörü verildi:

x_{1} = [1000, 1, 2], x_{2} = [900, 1, 2], x_{3} = [1050, - 10, 20] .

$\mathbf{x}_1 = [1000, 1, 2], \quad \mathbf{x}_2 = [900, 1, 2], \quad \mathbf{x}_3 = [1050, -10, 20].$

sonra , yani sözde ve daha benzerdir . $\kappa( \mathbf{x}_1, \mathbf{x}_2) = \exp(-10000) \ll \kappa(\mathbf{x}_1, \mathbf{x}_3) = \exp(-2905)$ $\mathbf{x}_1$ $\mathbf{x}_3$ $\mathbf{x}_2$

ve: arasındaki göreli farklar $\mathbf{x}_1$

x_{2} \to [0.1, 0, 0], x_{3} \to [0.05, - 10, 10] .

$\mathbf{x}_2 \rightarrow [0.1, 0, 0],\quad \mathbf{x}_3 \rightarrow [0.05, -10, 10].$

Yani ölçeklendirme olmadan, biz sonucuna daha benzer olan daha , olsa arasındaki özellik başına nispi farklar ve , ve çok daha büyük . $\mathbf{x}_1$ $\mathbf{x}_3$ $\mathbf{x}_2$ $\mathbf{x}_1$ $\mathbf{x}_3$ $\mathbf{x}_1$ $\mathbf{x}_2$

Diğer bir deyişle, tüm özellikleri karşılaştırılabilir aralıklarla ölçeklendirmezseniz, en geniş aralığa sahip özellikler çekirdek matrisinin hesaplanmasında tamamen hakim olacaktır.

Bunu açıklamak için basit örnekleri aşağıdaki makalede bulabilirsiniz: Vektör Sınıflandırmasını Desteklemeye Yönelik Pratik Bir Kılavuz (Bölüm 2.2).

— Marc Claesen
kaynak

Ayrıca normalleştirmeyi de tartışmak isteyebilirsiniz: ağırlıkların ölçeği girdilerin ölçeğine bağlıdır ...

— seanv507

Düzenlemenin etkisi, farklı ölçeklemelerin , bu özel konuya biraz dik olan farklı optimal ima etmesidir .

C

$C$

— Marc Claesen

Ama aslında bir boyut boyunca yakınlık daha önemli olabilir. Dolayısıyla amaç, tüm özelliklerde aynı varyansa sahip olmak değil, her özellikteki mesafelerin görev için yaklaşık olarak aynı öneme sahip olacak şekilde ölçeklendirilmesidir.

— isarandi

@Marc Claesen, değişkenleriniz farklı büyüklük sıralarına sahipse, ağırlıklarınız da farklı büyüklük sıralarına sahip olacak ve l2 normu, küçük varyansa ve buna bağlı olarak büyük ağırlıklara sahip girişlere odaklanacaktır. başka bir deyişle, ağırlık normlarının düzenlenmesi 'küçük' girdilerin küçük etkilere sahip olmasını sağlar. Bu, yalnızca değişkenlerinizi normalleştirerek 'küçük' (girdilerinizde) standartlaştırdıysanız mantıklıdır

— seanv507

@ seanv507 yalnızca doğrusal SVM için geçerlidir.

— Marc Claesen

Hangi çekirdeği kullandığınıza bağlıdır. Şimdiye kadar en yaygın kullanılan (lineer dışında),

f = e x p (\frac{- | | x_{1} - x_{2} | |^{2}}{2 σ^{2}})

$f = exp \left ( \frac{- || x{_{1}} - x{_{2}} || ^2 }{2\sigma ^2} \right )$

SVM bu işlevi alır ve bir noktanın ( ) eğitim setindeki diğer her bir nokta ile benzerliğini , farklılıkları şöyle toplayarak karşılaştırmak için kullanır: $x1$

(x_{1} - l_{1})^{2} + (x_{2} - l_{2})^{2} . . . + (x_{n} - l_{n})^{2}

$(x{_{1}}-l{_{1}})^2+(x{_{2}}-l{_{2}})^2...+(x{_{n}}-l{_{n}})^2$

burada sizin örneğinizdir ve değerleri işarettir. $x$ $l$

Özelliği ise özelliği ise 50,000 - 0 arasında değişen oranı 0 - 0.01, bu görebilir hakim olacak ve bu rakam da neredeyse hiç etkisi olmayacak. Bu nedenle, çekirdeği uygulamadan önce özelliklerin ölçeklendirilmesi gerekir. $x{_{1}}$ $x{_{2}}$ $x{_{1}}$ $x{_{2}}$

Daha fazla bilgi edinmek istiyorsanız, Coursera'daki makine öğrenimi konusunda Stanford çevrimiçi kursundan modül 12'yi (Destek Vektör Makineleri) öneririm (ücretsiz ve her zaman kullanılabilir): https://www.coursera.org/course/ml

— ralph346526
kaynak