İki boyutlu uzayda bir dizi nokta verildiğinde, SVM için bir tasarım kararı nasıl işlev görebilir?

Birisi bana bir SVM karar fonksiyonu tasarlama konusunda neler yapabileceğini açıklayabilir mi? Ya da beni somut bir örneği tartışan kaynağa yönlendirin.

DÜZENLE

Aşağıdaki örnekte, denkleminin sınıfları maksimum marjla ayırdığını görebiliyorum . Fakat aşağıdaki formda hiperplanlar için ağırlıkları nasıl ayarlayabilir ve denklemleri nasıl yazabilirim. $X_2 = 1.5$

\begin{array}{ll} H_{1} : w_{0} + w_{1} x_{1} + w_{2} x_{2} \geq 1 & for Y_{i} = + 1 \\ H_{2} : w_{0} + w_{1} x_{1} + w_{2} x_{2} \leq - 1 & for Y_{i} = - 1. \end{array}

$\begin{array}{ll} H_1 : w_0+w_1x_1+w_2x_2 \ge 1 & \text{for}\; Y_i = +1 \\ H_2 : w_0+w_1x_1+w_2x_2 \le -1 & \text{for}\; Y_i = -1.\end{array}$

resim açıklamasını buraya girin

Daha yüksek boyutları düşünmeden önce temel teoriyi 2 boyutlu alanda (görselleştirmek daha kolay olduğu gibi) doğru yapmaya çalışıyorum.

Bunun için çözüm geliştirdim Birisi bunun doğru olup olmadığını teyit edebilir mi?

ağırlık vektörü (0, -2) ve W_0 3'tür

\begin{array}{ll} H_{1} : 3 + 0 x_{1} - 2 x_{2} \geq 1 & for Y_{i} = + 1 \\ H_{2} : 3 + 0 x_{1} - 2 x_{2} \leq - 1 & for Y_{i} = - 1. \end{array}

$\begin{array}{ll} H_1 : 3+0x_1-2x_2 \ge 1 & \text{for}\; Y_i = +1 \\ H_2 : 3+0x_1 -2x_2 \le -1 & \text{for}\; Y_i = -1.\end{array}$

svm

— naresh
kaynak

Burada R ile bir örnek var , ama sorunuzun algoritmik açıdan daha fazla olduğunu hissediyorum. Bu durumda, amaçlanan uygulama veya kullanılabilir kaynak hakkında biraz daha ayrıntı ekleyebilmeniz yardımcı olacaktır.

— chl

@chl Soruları ayrıntılarla güncelledim

— naresh

SVM'leri motive etmenin en az iki yolu vardır, ancak burada daha basit bir rota izleyeceğim.

Şimdi, şu an için SVM hakkında bildiğiniz her şeyi unutun ve sadece eldeki probleme odaklanın. den bazı etiketlerle ( ) birlikte bir dizi verilir . Şimdi, 2B'de bir çizgi bulmaya çalışıyoruz, böylece etiket sahip tüm noktalar çizginin bir tarafına düşer ve etiket sahip tüm noktalar diğer tarafa düşer. $\mathcal{D} = \{(x^i_1, x^i_2, y_i)\}$ $y_i$ $\{1, -1\}$ $1$ $-1$

Her şeyden önce, 2D'de bir çizgi olduğunu ve , çizginin "bir tarafını" ve , hat. $w_0 + w_1x_1 + w_2x_2 = 0$ $w_0 + w_1x_1 + w_2x_2 > 0$ $w_0 + w_1x_1 + w_2x_2 < 0$

Biz yukarıda bazı vektör istiyoruz sonucuna varabiliriz kaynaktan öyle ki, bütün noktalar için ile ve , tüm noktalar için ile [1]. $[w_0, w_1, w_2]$ $w_0 + w_1x^i_1 + w_2x^i_2 \geq 0$ $x^i$ $y_i = 1$ $w_0 + w_1x^i_1 + w_2x^i_2 < 0$ $x^i$ $y_i = -1$

Diyelim ki böyle bir çizgi gerçekten var, o zaman bir sınıflandırıcıyı şu şekilde tanımlayabilirim,

min | w_{0} | + | w_{1} | + | w_{2} | subject to : w_{0} + w_{1} x_{1}^{i} + w_{2} x_{2}^{i} \geq 0, \forall x^{i} with y_{i} = 1 w_{0} + w_{1} x_{1}^{i} + w_{2} x_{2}^{i} < 0, \forall x^{i} with y_{i} = - 1

$\min |w_0| + |w_1| + |w_2| \\ \text{subject to} : w_0 + w_1x^i_1 + w_2x^i_2 \geq 0, \forall x^i\text{ with }y_i = 1 \\ w_0 + w_1x^i_1 + w_2x^i_2 < 0, \forall x^i\text{ with }y_i = -1 \\$

Yukarıda keyfi bir objektif fonksiyon kullandım, şu anda hangi objektif fonksiyonun kullanıldığı umurumda değil. Sadece kısıtlarımızı karşılayan bir istiyoruz . İki sınıfı bu satırla ayırabilecek şekilde bir satır bulunduğunu varsaydığımızdan, yukarıdaki optimizasyon problemine bir çözüm bulacağız. $w$

Yukarıdaki SVM değil ama size bir sınıflandırıcı verecektir :-). Ancak bu sınıflandırıcı çok iyi olmayabilir. Fakat iyi bir sınıflandırıcıyı nasıl tanımlarsınız? İyi bir sınıflandırıcı genellikle test setinde iyi sonuç veren sınıflayıcıdır. İdeal olarak, egzersiz verilerinizi ayıran ve hangilerinin test verilerinde iyi sonuç verdiğini görmek için mümkün olan tüm w'leri gözden . Ancak, sonsuz vardır , bu yüzden bu oldukça umutsuzdur. Bunun yerine, iyi bir sınıflandırıcı tanımlamak için bazı buluşsal yöntemler düşüneceğiz. Buluşsal yöntemlerden biri, verileri ayıran çizginin tüm noktalardan yeterince uzakta olacağıdır (yani, noktalar ve çizgi arasında her zaman boşluk veya kenar boşluğu vardır). Bunlar arasında en iyi sınıflandırıcı maksimum marjlı olan sınıflandırıcıdır. SVM'lerde kullanılan budur. $w$ $w$

Bunun yerine ısrar bütün noktalar için ile ve , tüm noktalar için ile , o ısrar tüm noktalar için ile ve tüm noktalar için ile , o zaman aslında noktaların çizgiden uzak olması konusunda ısrar ediyoruz. Bu gereksinime karşılık gelen geometrik kenar boşluğu . $w_0 + w_1x^i_1 + w_2x^i_2 \geq 0$ $x^i$ $y_i = 1$ $w_0 + w_1x^i_1 + w_2x^i_2 < 0$ $x^i$ $y_i = -1$ $w_0 + w_1x^i_1 + w_2x^i_2 \geq 1$ $x^i$ $y_i = 1$ $w_0 + w_1x^i_1 + w_2x^i_2 \leq -1$ $x^i$ $y_i = -1$ $\frac{1}{\|w\|_2}$

Bu nedenle, aşağıdaki optimizasyon sorununu elde ediyoruz, Bu, kısa ve öz bir yazı biçimidir, Bu temel olarak temel SVM . Kısalık için oldukça fazla tartışmayı atladım. Umarım, fikrin çoğunu hala çözerim.

max \frac{1}{‖ w ‖_{2}} subject to : w_{0} + w_{1} x_{1}^{i} + w_{2} x_{2}^{i} \geq 1, \forall x^{i} with y_{i} = 1 w_{0} + w_{1} x_{1}^{i} + w_{2} x_{2}^{i} \leq - 1, \forall x^{i} with y_{i} = - 1

$\max \frac{1}{\|w\|_2} \\ \text{subject to} : w_0 + w_1x^i_1 + w_2x^i_2 \geq 1, \forall x^i\text{ with }y_i = 1 \\ w_0 + w_1x^i_1 + w_2x^i_2 \leq -1, \forall x^i\text{ with }y_i = -1 \\$

min ‖ w ‖_{2} subject to : y_{i} (w_{0} + w_{1} x_{1}^{i} + w_{2} x_{2}^{i}) \geq 1, \forall i

$\min \|w\|_2 \\ \text{subject to} : y_i(w_0 + w_1x^i_1 + w_2x^i_2) \geq 1, \forall i$

Örnek problemi çözmek için CVX betiği:

A = [1 2 1; 3 2 1; 2 3 1; 3 3 1; 1 1 1; 2 0 1; 2 1 1; 3 1 1];
b = ones(8, 1);
y = [-1; -1; -1; -1; 1; 1; 1; 1];
Y = repmat(y, 1, 3);
cvx_begin
variable w(3)
minimize norm(w)
subject to
(Y.*A)*w >= b
cvx_end

Zeyilname - Geometrik Marj

Biz zaten Aradığımız istediniz Üstü böyle veya genellikle . Burada gördüğünüz işlevsel marj denir, bu yüzden burada talep ettiğimiz şey fonksiyonel marjın . Şimdi, bu fonksiyonel marj gereksinimi göz önüne alındığında geometrik marjı hesaplamaya çalışacağız. $w$ $y_i(w_0 + w_1x_1 + w_2x_2) \geq 1$ $y_i(w_0 + w^Tx) \geq 1$ $\geq 1$

Geometrik kenar boşluğu nedir? Geometrik kenar boşluğu, pozitif örneklerdeki noktalar ile negatif örneklerdeki noktalar arasındaki en kısa mesafedir. Şimdi, yukarıda gerektiği gibi en kısa mesafeye sahip olan noktalar 1'den daha büyük fonksiyonel marja sahip olabilir. Ancak, aşırı durumu, hiper düzleme en yakın olduklarında, en kısa noktalar için fonksiyonel marjın tamamen eşit olduğunu düşünelim. 1 olarak Let pozitif örnek ile ilgili bir nokta, bir nokta bu olmak olması ve noktası şekilde olması olumsuz örnek üzerinde noktası bu . Şimdi, arasındaki mesafe ve olacak en kısa zaman $x_+$ $w^Tx_+ + w_0 = 1$ $x_-$ $w^Tx_- + w_0 = -1$ $x_+$ $x_-$ $x_+ - x_-$ hiper düzlemine diktir.

Şimdi, yukarıdaki tüm bilgilerle birlikte geometrik kenar boşluğu olan bulmaya çalışacağız . $\|x_+ - x_-\|_2$

w^{T} x_{+} + w_{0} = 1

$w^Tx_+ + w_0 = 1$

w^{T} x_{-} + w_{0} = - 1

$w^Tx_- + w_0 = -1$

w^{T} (x_{+} - x_{-}) = 2

$w^T(x_+ - x_-) = 2$

| w^{T} (x_{+} - x_{-}) | = 2

$|w^T(x_+ - x_-)| = 2$

‖ w ‖_{2} ‖ x_{+} - x_{-} ‖_{2} = 2

$\|w\|_2\|x_+ - x_-\|_2 = 2$

‖ x_{+} - x_{-} ‖_{2} = \frac{2}{‖ w ‖_{2}}

$\|x_+ - x_-\|_2 = \frac{2}{\|w\|_2}$

[1] ve için hangi tarafı seçeceğiniz önemli değil . Sadece ne seçerseniz seçin, tutarlı olmalısınız. $1$ $-1$

— TenaliRaman
kaynak

@naresh Yeap, bunu çözmek cvx içinde bana aynı çözümü verdi .

w = [0, - 2, 3]

$w = [0, -2, 3]$

— TenaliRaman

@entropy teşekkürler yazım hatasını düzelttim. Geometrik kenar boşluğu açıklamasını ekleyeceğim.

— TenaliRaman

@entropy Cevabı geometrik kenar boşluğu açıklamasıyla güncelledim.

— TenaliRaman

@entropy , başlangıç noktasından geçen bir köprüdür . Tüm doğrusal denklemlerin uzayını kapsamak için önyargı terimine ihtiyacınız vardır. 2D'de bulunan noktaları düşünün ve bu noktaları ayıran bir çizgi bulmaya çalıştığınızı söyleyelim. Ancak bu noktaların tümü ilk kadrandadır. Şimdi bu noktalar ayrılabilir, ancak başlangıç noktasından geçen herhangi bir çizgi ile düzenlenmeyecek şekilde düzenlenebilir. Bununla birlikte, uygun bir önyargıya sahip bir çizgi bunu yapabilir.

w^{T} x

$w^{T}x$

— TenaliRaman

@entropy Yukarıdakileri söyledikten sonra, noktaları düzgün bir şekilde döndürüp kaydırırsanız, başlangıç noktasından geçen bir hattın bile sınıfları ayırabileceğini fark etmiş olabilirsiniz. Ancak, genellikle bu doğru rotasyonu ve değişimi bulmak, sadece önyargı terimini öğrenmekle karşılaştırıldığında, kolay değildir.

— TenaliRaman