SVM ve bir algılayıcı arasındaki fark

Bir SVM ve bir algılayıcı arasındaki fark ile biraz kafam karıştı. Anlayışımı burada özetlemeye çalışmama izin verin, lütfen yanlış olduğum yeri düzeltmek ve kaçırdıklarımı doldurmaktan çekinmeyin.

1. Perceptron, "uzaklık" mesafesini optimize etmeye çalışmaz. İki takımı birbirinden ayıran bir hiper uçağı bulduğu sürece, iyidir. Öte yandan SVM, "destek vektörünü", yani en yakın iki karşıt numune noktası arasındaki mesafeyi maksimize etmeye çalışır.

2. SVM tipik olarak, numune noktalarının doğrusal olarak ayrılabilir olmasını sağlamak için örnek noktalarını yüksek boyut uzayına yansıtmak için bir "çekirdek işlevi" kullanmaya çalışır, bununla birlikte, algılayıcı, örnek noktaların doğrusal olarak ayrılabilir olduğunu varsayar.

Bana doğru geliyor. İnsanlar bazen sınıflayıcı ile birlikte eğitim algoritmasına atıfta bulunmak için "Perceptron" kelimesini de kullanırlar. Örneğin, birileri bu sorunun cevabını bana açıkladı . Ayrıca, algılayıcı ile birlikte bir çekirdek kullanmaktan alıkoyacak hiçbir şey yoktur ve bu genellikle daha iyi bir sınıflandırıcıdır. Çekirdek algılayıcısının nasıl uygulanacağı hakkında bazı slaytlar (pdf) için buraya bakınız .

Bir (çekirdek) algılayıcı ve SVM arasındaki temel pratik fark, algılayıcıların çevrimiçi olarak eğitilebilmesidir (yani, bir seferde yeni örnekler geldiğinde ağırlıkları güncellenebilir), oysaki SVM'ler olamaz. SVM'lerin çevrimiçi olarak eğitilebileceği hakkında bilgi için bu soruya bakın . Bu nedenle, bir SVM genellikle daha iyi bir sınıflandırıcı olsa da, algılayıcılar hala yararlı olabilir çünkü taze eğitim verilerinin sürekli olarak geldiği bir durumda yeniden eğitilmeleri ucuz ve kolaydır.

SVM:

$$\min \|w\|_2 + C\sum_{i = 1}^{n}(1 - y_i(wx_i + w_0))_+$$ Perceptron $$\min \sum_{i = 1}^{n}(- y_i(wx_i + w_0))_+$$

SVM'nin neredeyse L2 düzenli perceptron ile aynı hedefe sahip olduğunu görebiliyoruz.

Amaç farklı olduğu için, bu iki algoritma için farklı optimizasyon şemalarına sahibiz.$\|w\|_2$ optimize etmek için ikinci dereceden programlama kullanmanın temel nedeni olduğunu görüyoruz.

Perceptron neden çevrimiçi güncellemeye izin veriyor? Menteşe kaybı için gradyan iniş güncelleme kuralını görürseniz (menteşe kaybı hem SVM hem de perceptron tarafından kullanılır),

$$w^t = w^{t-1} + \eta\frac{1}{N}\sum_{i = 1}^{N}y^ix^i\mathbb{I}(y^iw^tx^i \leq 0)$$

Çünkü tüm makine öğrenme algoritmaları, kayıp fonksiyonunun ve optimizasyon algoritmasının birleşimi olarak görülebilir.

Perceptron, menteşe kaybından (kayıp fonksiyonu) + stokastik gradyan inişinden (optimizasyon) fazla değildir

$$w^t = w^{t-1} + y^{y+1}x^{t+1}\mathbb{I}(y^{t+1}w^{t}x^{t+1} \leq 0)$$

SVM, menteşe kaybı +2 düzenlileştirme (kayıp + düzenlileştirme) + ikinci dereceden programlama veya SMO (optimizasyon) gibi diğer meraklı optimizasyon algoritmaları olarak görülebilir.

Perceptron, SVM'nin optimal stabiliteye sahip perceptron olduğu genellemedir. Yani, algılayıcının ayırma mesafesini optimize etmeye çalışmadığını söylerken haklısın.