108

Bir Destek Vektörü Makinesi (SVM) nasıl çalışır ve onu Lineer Algılayıcı , Lineer Ayrımcı Analizi veya Lojistik Regresyon gibi diğer doğrusal sınıflandırıcılardan ayıran nedir? *

(* Algoritma, optimizasyon stratejileri, genelleme yetenekleri ve çalışma zamanı karmaşıklığı için altta yatan motivasyonları düşünüyorum. )

— tdc
kaynak

4

Ayrıca bakınız: stats.stackexchange.com/questions/3947/…

Ayrıca bkz. istatistik.stackexchange.com/questions/80398/…

126

Destek vektör makineleri yalnızca ayırt edilmesi en zor noktalara odaklanırken, diğer sınıflandırıcılar tüm noktalara dikkat eder.

Destek vektörü makine yaklaşımının arkasındaki sezgi, bir sınıflandırıcının en zorlayıcı karşılaştırmalarda iyi olması durumunda (B ve A'da Şekil 2'de birbirine en yakın olan noktaların), sınıflandırıcının kolay karşılaştırmalarda daha iyi olacağıdır ( B ve A'daki birbirlerinden uzak noktaları karşılaştırmak).

Algılayıcılar ve diğer sınıflandırıcılar:

Algılayıcılar bir seferde bir nokta alarak ve ayırma çizgisini buna göre ayarlayarak oluşturulur. Bütün noktalar ayrılır ayrılmaz, algılayıcı algoritması durur. Ama her yerde durabilirdi. Şekil 1, verileri ayıran çok sayıda farklı bölme çizgisinin olduğunu göstermektedir. Algılayıcının durma kriterleri basittir: "% 100 ayırma elde ettiğinizde noktaları ayırın ve çizgiyi iyileştirmeyi bırakın". Perceptron'a açıkça en iyi ayırım çizgisini bulması söylenmedi. Lojistik regresyon ve doğrusal diskriminant modelleri, algılayıcılara benzer şekilde yapılmıştır.

En iyi bölme çizgisi, A'ya en yakın B noktaları ile B'ye en yakın A noktaları arasındaki mesafeyi maksimuma çıkarır. Bunu yapmak için tüm noktalara bakmak gerekmez. Aslında, çok uzak noktalardan gelen geri bildirimleri birleştirmek, aşağıda görüldüğü gibi çizgiyi biraz fazla uzatabilir.

görüntü tanımını buraya girin

Vektör makineleri desteklemek:

Diğer sınıflandırıcılardan farklı olarak, destek vektör makinesine açıkça en iyi ayırım çizgisini bulması söylenir. Nasıl? Destek vektörü makinesi, "destek vektörleri" olarak adlandırdığı en yakın noktaları (Şekil 2) arar ("destek vektörü makinesi" adı, noktaların vektörler gibi olması ve en iyi çizginin "bağlı" olması nedeniyle veya En yakın noktalar "tarafından desteklenir".

En yakın noktaları bulduktan sonra, SVM bunları birleştiren bir çizgi çizer (Şekil 2'de 'w' etiketli çizgiye bakın). Bu bağlantı hattını vektör çıkarma yaparak çizer (A noktası - B noktası). Destek vektörü makinesi daha sonra, en iyi ayırma çizgisini, ikiye bölen - ve - bağlantı hattına dik olan çizgi olarak ilan eder.

Destek vektör makinesi daha iyidir, çünkü yeni bir örnek aldığınızda (yeni puanlar), B ve A'yı birbirinden mümkün olduğunca uzakta tutan bir hat yapmış olacaksınız ve bu nedenle birinin çarpması daha az olasıdır. diğerinin topraklarına giren çizgi.

görüntü tanımını buraya girin

Kendimi görsel bir öğrenen olarak görüyorum ve uzun süre destek vektör makinelerinin arkasındaki sezgiyle mücadele ettim. SVM Sınıflandırıcılarında İkilik ve Geometri adı verilen yazı sonunda ışığı görmeme yardımcı oldu; görüntüleri oradan aldım.

— Ryan Zotti
kaynak

4

Başka bir görsel öğreniciden +1! Okuyucu için, yukarıdaki şekilde görülen bu sınırların, daha önce dönüştürülmüş bir veri kümesine dayandığını not etmek isterim. Ham veri seti değil.

— Kingz,

İki yıldan daha uzun bir süredir svm okuyan bugün ayırma çizgisinin nasıl belirlendiğini ve birkaç şey daha olduğunu anladı. Temiz cevap için teşekkürler.

— user123 22:16

53

Ryan Zotti'nin cevabı , karar sınırlarının maksimize edilmesinin ardındaki motivasyonu açıklıyor, carlosdc'ın cevabı , diğer sınıflandırıcılara göre bazı benzerlikler ve farklılıklar veriyor. Bu cevapta SVM'lerin nasıl eğitildiğine ve kullanıldığına dair kısa bir matematiksel bakış vereceğim.

Gösterimler

Aşağıda, skalerler italik büyük harf ile belirtilmiştir (örneğin, ), kalın büyük harf ile vektörler (örn, ) italik uppercases ile, ve matrisler (ör ). , ve . $y,\, b$ $\mathbf{w},\, \mathbf{x}$ $W$ $\mathbf{w^T}$ $\mathbf{w}$ $\|\mathbf{w}\| = \mathbf{w}^T\mathbf{w}$

İzin Vermek:

$\mathbf{x}$ bir özellik vektörü (yani, SVM'nin girişi) olabilir. , burada , özellik vektörünün boyutudur. $\mathbf{x} \in \mathbb{R}^n$ $n$
$y$ Sınıf ( , SVM'nin çıktısı). , yani sınıflandırma görevi ikilidir. $y \in \{ -1,1\}$
$\mathbf{w}$ ve , SVM'nin parametreleri olmalıdır: onları eğitim setini kullanarak öğrenmemiz gerekir. $b$
$(\mathbf{x}^{(i)}, y^{(i)})$ olmak veri kümesi içine örneği yerleştir. Eğitim setinde örneklerimiz olduğunu varsayalım . $i^ {\text {th}}$ $N$

İle , aşağıdaki gibi bir SVM kararı sınırlarını temsil edebilir: $n=2$

Sınıf , aşağıdaki gibi tespit edilir: $y$

y^{(i)} = {\begin{cases} - 1 & if w^{T} x^{(i)} + b \leq - 1 \\ 1 & if w^{T} x^{(i)} + b \geq 1 \end{cases}

$y^{(i)}=\left\{ \begin{array}{ll} -1 &\text{ if } \mathbf{w^T}\mathbf{x}^{(i)}+b \leq -1 \\ 1 &\text{ if } \mathbf{w^T}\mathbf{x}^{(i)}+b \ge 1 \\ \end{array} \right.$

bu, daha kısa bir şekilde olarak yazılabilir . $y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1$

Hedef

SVM iki gereksinimi karşılamayı amaçlamaktadır:

SVM, iki karar sınırı arasındaki mesafeyi maksimize etmelidir. Matematiksel olarak, bu, ile tanımlanan hiper düzlem ile tanımlanan hiper düzlem arasındaki mesafeyi maksimize etmek istediğimiz anlamına gelir. . Bu mesafe eşittir . Bu, çözmek istediğimiz anlamına gelir . Eşdeğer bir istediğimiz . $\mathbf{w^T}\mathbf{x}+b = -1$ $\mathbf{w^T}\mathbf{x}+b = 1$ $\frac{2}{\|\mathbf{w}\|}$ $\underset{\mathbf{w}}{\operatorname{max}} \frac{2}{\|\mathbf{w}\|}$ $\underset{\mathbf{w}}{\operatorname{min}} \frac{\|\mathbf{w}\|}{2}$
SVM, tüm de doğru şekilde sınıflandırmalıdır , yani $\mathbf{x}^{(i)}$ $y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1, \forall i \in \{1,\dots,N\}$

Bu bizi aşağıdaki ikinci dereceden optimizasyon sorununa götürür:

\begin{aligned} min_{w, b} & \frac{‖ w ‖}{2}, \\ s . t . & y^{(i)} (w^{T} x^{(i)} + b) \geq 1 & \forall i \in {1, \dots, N} \end{aligned}

$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1 &\forall i \in \{1,\dots,N\} \end{align}$

Bu kar marjı SVM'dir , çünkü bu ikinci dereceden optimizasyon sorunu, verilerin doğrusal olarak ayrılabilir olması durumunda bir çözüm getirmektedir.

Kişi, slack değişkenleri diye adlandırılarak kısıtlamaları . Eğitim setinin her bir örneğinin kendi gevşek değişkenine sahip olduğuna dikkat edin. Bu bize şu ikinci dereceden optimizasyon sorununu veriyor: $\xi^{(i)}$

\begin{aligned} min_{w, b} & \frac{‖ w ‖}{2} + C \sum_{i = 1}^{N} ξ^{(i)}, \\ s . t . & y^{(i)} (w^{T} x^{(i)} + b) \geq 1 - ξ^{(i)}, & \forall i \in {1, \dots, N} \\ ξ^{(i)} \geq 0, & \forall i \in {1, \dots, N} \end{aligned}

$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \xi^{(i)}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\mathbf{x}^{(i)}+b) \ge 1 - \xi^{(i)},&\forall i \in \{1,\dots,N\} \\ \quad&\xi^{(i)}\ge0, &\forall i \in \{1,\dots,N\} \end{align}$

Bu yumuşak marj SVM'dir . , hata teriminin cezası olarak adlandırılan bir hiperparametredir . ( Lineer çekirdeğe sahip SVM'lerde C'nin etkisi nedir? Ve SVM optimal parametrelerini belirlemek için hangi arama aralığı? ). $C$

Orijinal özellik alanını daha yüksek boyutlu bir özellik alanına eşleyen bir işlev ekleyerek daha da fazla esneklik ekleyebilirsiniz . Bu, doğrusal olmayan karar sınırlarına izin verir. İkinci dereceden optimizasyon problemi şöyle olur: $\phi$

\begin{aligned} min_{w, b} & \frac{‖ w ‖}{2} + C \sum_{i = 1}^{N} ξ^{(i)}, \\ s . t . & y^{(i)} (w^{T} ϕ (x^{(i)}) + b) \geq 1 - ξ^{(i)}, & \forall i \in {1, \dots, N} \\ ξ^{(i)} \geq 0, & \forall i \in {1, \dots, N} \end{aligned}

$\begin{align} \min_{\mathbf{w},b}\quad &\frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \xi^{(i)}, \\ s.t.\quad&y^{(i)} (\mathbf{w^T}\phi \left(\mathbf{x}^{(i)}\right)+b) \ge 1 - \xi^{(i)},&\forall i \in \{1,\dots,N\} \\ \quad&\xi^{(i)}\ge0, &\forall i \in \{1,\dots,N\} \end{align}$

Optimizasyon

İkinci dereceden optimizasyon problemi, Lagrangian ikili problemi adı verilen başka bir optimizasyon problemine dönüştürülebilir (önceki probleme ilkel denir ):

\begin{aligned} max_{α} & min_{w, b} \frac{‖ w ‖}{2} + C \sum_{i = 1}^{N} α^{(i)} (1 - w^{T} ϕ (x^{(i)}) + b)), \\ s . t . & 0 \leq α^{(i)} \leq C, & \forall i \in {1, \dots, N} \end{aligned}

$\begin{align} \max_{\mathbf{\alpha}} \quad &\min_{\mathbf{w},b} \frac{\|\mathbf{w}\|}{2}+ C \sum_{i=1}^{N} \alpha^{(i)} \left(1-\mathbf{w^T}\phi \left(\mathbf{x}^{(i)}\right)+b)\right), \\ s.t. \quad&0 \leq \alpha^{(i)} \leq C, &\forall i \in \{1,\dots,N\} \end{align}$

Bu optimizasyon problemi basitleştirilebilir (bazı degradeler ayarlanarak ): $0$

\begin{aligned} max_{α} & \sum_{i = 1}^{N} α^{(i)} - \sum_{i = 1}^{N} \sum_{j = 1}^{N} (y^{(i)} α^{(i)} ϕ {(x^{(i)})}^{T} ϕ (x^{(j)}) y^{(j)} α^{(j)}), \\ s . t . & 0 \leq α^{(i)} \leq C, & \forall i \in {1, \dots, N} \end{aligned}

$\begin{align} \max_{\mathbf{\alpha}} \quad & \sum_{i=1}^{N} \alpha^{(i)} - \sum_{i=1}^{N}\sum_{j=1}^{N} \left( y^{(i)}\alpha^{(i)}\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right) y^{(j)}\alpha^{(j)} \right), \\ s.t. \quad&0 \leq \alpha^{(i)} \leq C, &\forall i \in \{1,\dots,N\} \end{align}$

$\mathbf{w}$ , olarak görünmüyor. ( temsilci teoremi tarafından belirtildiği gibi ). $\mathbf{w}=\sum_{i =1}^{N}\alpha^{(i)}y^{(i)}\phi\left(x^{(i)}\right)$

Bu nedenle , eğitim setinin kullanarak öğreniyoruz . $\alpha^{(i)}$ $(\mathbf{x}^{(i)}, y^{(i)})$

(FYI: Neden SVM takılırken ikili problemle uğraşmıyorsunuz? Kısa cevap: Daha hızlı hesaplama + çekirdek numarasının kullanılmasına izin verir, ancak primerde SVM'yi eğitmek için bazı iyi yöntemler vardır, örneğin bakınız {1}).

Bir tahmin yapma

Bir kez öğrenilir, tek bir özellik vektörü ile yeni bir numune sınıf tahmin edebilirsiniz aşağıdaki gibi: $\alpha^{(i)}$ $\mathbf{x}^{\text {test}}$

\begin{aligned} y^{test} & = sign (w^{T} ϕ (x^{test}) + b) \\ = sign (\sum_{i = 1}^{N} α^{(i)} y^{(i)} ϕ {(x^{(i)})}^{T} ϕ (x^{test}) + b) \end{aligned}

$\begin{align*} y^{\text {test}}&=\text {sign}\left(\mathbf{w^T}\phi\left(\mathbf{x}^{\text {test}}\right)+b\right) \\ &= \text {sign}\left(\sum_{i =1}^{N}\alpha^{(i)}y^{(i)}\phi\left(x^{(i)}\right)^T\phi\left(\mathbf{x}^{\text {test}}\right)+b \right) \end{align*}$

Toplama o, bir tüm eğitim örnekleri üzerinde toplanacak olan anlamına gelir, çünkü çok büyük olduğu görülebilir, fakat büyük bir çoğunluğu olan (bakınız Neden Lagrange çarpanları SVM'ler için seyrek midir? ) Pratikte bu bir sorun değildir. ( birinin tüm ) iff in bir destek vektörü olduğu özel durumlar oluşturabileceğine dikkat edin . . Yukarıdaki çizimde 3 destek vektörü vardır. $\sum_{i =1}^{N}$ $\alpha^{(i)}$ $0$ $\alpha^{{(i)}} > 0$ $\alpha^{{(i)}}=0$ $x^{{(i)}}$

Çekirdek numarası

Bir optimizasyon problemi kullandığı gözlemleyebilirsiniz sadece iç çarpım içinde . Haritalar fonksiyonu iç çarpım için bir adlandırılan bir çekirdek genellikle ile gösterilen, diğer adıyla çekirdek fonksiyonu, . $\phi\left(\mathbf{x}^{(i)}\right)$ $\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right)$ $\left(\mathbf{x}^{(i)},\mathbf{x}^{(j)}\right)$ $\phi\left(\mathbf{x}^{(i)}\right)^T \phi\left(\mathbf{x}^{(j)}\right)$ $k$

Bir seçebilir iç çarpım hesaplamak için verimli olacak şekilde yerleştirin. Bu, düşük bir hesaplama maliyetiyle potansiyel olarak yüksek bir özellik alanı kullanmanıza izin verir. Buna çekirdek numarası denir . Bir çekirdek fonksiyonunun geçerli olması , yani çekirdek numarasıyla kullanılabilir olması için iki temel özelliği sağlaması gerekir . Seçilebilecek birçok çekirdek işlevi vardır . Bir yan not olarak, çekirdek numarası başka bir makine öğrenme modeline uygulanabilir , bu durumda çekirdek olarak adlandırılır . $k$

Daha ileri gidiyor

SVM'lerde bazı ilginç KG'lar:

Diğer bağlantılar:

En küçük kareler vektör makinesini destekliyor

Referanslar:

{1} Chapelle, Olivier. "Bir destek vektör makinesini ilk elden eğitin." Sinirsel hesaplama 19, no. 5 (2007): 1155-1178. https://scholar.google.com/scholar?cluster=469291847682573606&hl=tr&as_sdt=0,22 ; http://www.chapelle.cc/olivier/pub/neco07.pdf

— Franck Dernoncourt
kaynak

2

Merhaba Franck, cevabınız için çok teşekkürler. vektörünün neden SVM'nin oluşturduğu hiper düzlemle ortogonal olduğunu açıklar mısınız? Ve iki karar sınırı arasındaki mesafeyi

w

$w$

\frac{2}{‖ w ‖}

$\frac{2}{\lVert w \rVert}$

— tosik'e

3

Bu büyük yanıta ek olarak, SVM arkasında matematik üzerinden yürür bu videoyu tavsiye etmek istiyorum ve özellikle soru @tosik yorumladı açıklık youtube.com/watch?v=_PwhiWxHK8o

— Nikolas Rieble

Çok güzel cevap. Bu bölümle ilgili tek bir açıklama: iff bir destek vektörüdür . Sınıflandırma için, toplama etkin bir şekilde destek vektörlerinin üzerindedir (yani, ).

α^{(i)} = 0

$\alpha^{{(i)}}=0$

x^{(i)}

$x^{{(i)}}$

α^{(i)} \geq 0

$\alpha^{{(i)}} \ge 0$

— 989,

13

Benzerlik ve diğer sınıflandırıcılardan farklılıklara odaklanacağım:

Bir algılayıcıdan: SVM menteşe kaybı ve L2 düzenlileşmesi kullanır, algılayıcı algılayıcı kaybını kullanır ve normalleştirme için erken durdurma (veya diğer teknikler arasında) kullanabilir, algılayıcıda normalleştirme terimi yoktur. Düzenleme terimi olmadığı için, algılayıcının fazla yorulmaya mecbur kalması nedeniyle genelleme yetenekleri keyfi olarak kötü olabilir. Optimizasyon stokastik gradyan inişi kullanılarak yapılır ve bu nedenle çok hızlıdır. Olumlu tarafı, bu makale, hafifçe değiştirilmiş bir kayıp fonksiyonu ile erken durma yaparak performansın bir SVM ile aynı olabileceğini göstermektedir.
Lojistik regresyondan: lojistik regresyon, lojistik kayıp terimini kullanır ve L1 veya L2 düzenini kullanabilir. Lojistik gerilemeyi, üretici saf-Bayes'in ayrımcı kardeşi olarak düşünebilirsiniz.
LDA'dan: LDA üretken bir algoritma olarak da görülebilir, olasılık yoğunluğu fonksiyonlarının (p (x | y = 0) ve p (x | y = 1) olasılıkla dağıldığını varsayar. homocedasticity LDA olur altında gerçeği normalde., Ancak sahiptir. "eğitim" (birçok özelliklere sahip olduğunda) büyük olabilen bir matrisin tersini gerektirir olumsuz dağıtılan QDA normalde dağıtılmış veri için Bayes en uygunudur. Anlamı eğer varsayımlar, bundan daha iyisini yapamayacağınız konusunda tatmin.

Çalışma zamanında (test zamanı), model eğitildikten sonra, tüm bu yöntemlerin karmaşıklığı aynıdır, sadece bulunan eğitim prosedürü ile veri noktası arasındaki hiper düzlem arasında bir nokta ürünüdür.

— carlosdc
kaynak

1

SVM'de çok yetenekli göründüğünüz için, şüphelerimi açıklığa kavuşturmanızı isteyeyim: en iyi ayrılan hiper uçağı bulduktan sonra ne için kullanıyoruz? SVM'yi, öncelikle veri noktalarını doğru şekilde sınıflandırmak için en iyi hiper düzlemi seçen bir yöntem olarak tanımlayabiliriz ve ikincisi, bu hiper uçağı iki sınıfta yeni veri noktalarını kesmek için kullanır. Sağ? (İkinci bölüm hakkında bazı şüphelerim var)

— DavideChicco.it

1

@ DavideChicco.it Evet, genellikle sınıflandırıcının asıl amacı olan yeni verileri sınıflandırmak için gösterge işlevini kullanabiliriz. (Bunlardan herhangi biri için sözümü alma, hepsinde yeniyim).

— anahtarcı

12

Teknik, ilk pozitif ve negatif örneklere mümkün olduğunca geniş bir marj bırakan bir karar sınırı çizgisi çizilmesine dayanır:

Yukarıdaki resimde olduğu gibi, ortogonal bir vektör , formun pozitif olarak kataloglanacağı bilinmeyen herhangi bir örnek için bir karar kriteri oluşturabiliriz: $\lVert w \rVert=1$ $\mathbf u$

w \cdot u \geq C

$\color{blue}{\mathbf w} \cdot {\mathbf u} \geq C$

Projeksiyonu, caddenin ortasındaki karar çizgisinin ötesine yerleştirecek bir değere karşılık gelir. olduğuna dikkat edin . $\color{blue}{\mathbf w} \cdot {\mathbf u} = {\mathbf u} \cdot \color{blue}{\mathbf w}$

Olumlu bir örnek için eşdeğer bir koşul:

\begin{matrix} (1) & w \cdot u + b \geq 0 \end{matrix}

$\color{blue}{\mathbf w}\cdot \mathbf u + b \geq 0 \tag 1$

ile $C = - b.$

Biz ihtiyacımız ve bir karar kuralı olması ve oraya ihtiyacımız olsun kısıtlamaları . $b$ $\color{blue}{\mathbf w}$

Uygulayacağımız ilk kısıtlama , herhangi bir pozitif örnek için ,, ; ve negatif örnekler için, . Bölüm sınırında veya hiper düzlemde ( medyan ) değer , oyuklardaki değerler ve : $\mathbf x_+,$ $\color{blue}{\mathbf w}\cdot \mathbf x_+ + b \geq 1$ $\color{blue}{\mathbf w}\cdot \mathbf x_- + b \leq -1$ $0$ $1$ $-1$

Vektör olan ağırlıklar vektör ise, bir önyargı . $\bf w$ $b$

Birlikte bu iki eşitsizlikleri getirmek için, değişken tanıtabilirsiniz böylece pozitif örnekler için ve örnekler negatif ve eğer sonuçlandırmak $y_i$ $y_i=+1$ $y_i=-1$

y_{i} (x_{i} \cdot w + b) - 1 \geq 0.

$y_i (x_i\cdot \color{blue}{\mathbf w} + b) -1\geq 0.$

Bu nedenle, bunun sıfırdan büyük olması gerektiğini tespit ediyoruz, ancak örnek, karar hiper düzlemi ile destek vektörlerinin uçları arasındaki ayrılma marjını maksimize eden hiper düzlemler üzerindeyse (bu satır çizgilerinde), sonra:

\begin{matrix} (2) & y_{i} (x_{i} \cdot w + b) - 1 = 0 \end{matrix}

$y_i \,(x_i\cdot \color{blue}{\mathbf w} + b) -1 = 0\tag 2$

Bunun, $y_i \,(x_i\cdot \color{blue}{\mathbf w} + b) = 1.$

İkinci kısıtlama : Karar hiper düzleminin destek vektörlerinin uçlarına olan uzaklığı maksimize edilecektir. Başka bir deyişle, ayırma marjı ("sokak") en üst düzeye çıkarılacak:

Karar sınırına dik bir birim vektör varsayalım, , iki "sınır" artı ile eksi örnekler arasındaki farkın olduğu nokta ürün "caddenin" genişliğidir : $\mathbf w$

width = (x_{+} - x_{-}) \cdot \frac{w}{‖ w ‖}

$\text{width}= (x_+ \,{\bf -}\, x_-) \cdot \frac{w}{\lVert w \rVert}$

Yukarıdaki denklemde üzerinde ve olan (ayrılmasını maksimize hiperdüzlemleri üzerinde) oluk. Bu nedenle, pozitif örnek için: veya ; ve negatif örnek için: . Yani, caddenin genişliğini yeniden düzenleyerek: $x_+$ $x_-$ $({\mathbf x_i}\cdot \color{blue}{\mathbf w} + b) -1 = 0$ ${\mathbf x_+}\cdot \color{blue}{\mathbf w} = 1 - b$ ${\mathbf x_-}\cdot \color{blue}{\mathbf w} = -1 - b$

\begin{aligned} width & = (x_{+} - x_{-}) \cdot \frac{w}{‖ w ‖} \\ = \frac{x_{+} \cdot w - x_{-} \cdot w}{‖ w ‖} \\ = \frac{1 - b - (- 1 - b)}{‖ w ‖} \\ (3) & = \frac{2}{‖ w ‖} \end{aligned}

$\begin{align}\text{width}&=(x_+ \,{\bf -}\, x_-) \cdot \frac{w}{\lVert w \rVert}\\[1.5ex] &= \frac{x_+\cdot w \,{\bf -}\, x_-\cdot w}{\lVert w \rVert}\\[1.5ex] &=\frac{1-b-(-1-b)}{\lVert w \rVert}\\[1.5ex] &= \frac{2}{\lVert w \rVert}\tag 3 \end{align}$

Şimdi caddenin genişliğini en üst düzeye çıkarmak zorundayız - yani en fazla en aza indirgemek veya $\frac{2}{\lVert w \rVert},$ $\lVert w \rVert$

\begin{matrix} (4) & \frac{1}{2} ‖ w ‖^{2} \end{matrix}

$\frac{1}{2}\;\lVert w \rVert^2 \tag 4$

matematiksel olarak uygun olan.

Yani biz istiyoruz:

simge küçültün : $\lVert x\rVert^2$
$y_i(\mathbf w \cdot \mathbf x_i + b )-1=0$

Bazı ifadelere dayanarak bu ifadeyi en aza indirmek istediğimiz için, bir Lagrange çarpanına ihtiyacımız var (denklem 2 ve 4'e geri dönelim):

\begin{matrix} (5) & L = \frac{1}{2} ‖ w ‖^{2} - \sum λ_{i} [y_{i} (x_{i} \cdot w + b) - 1] \end{matrix}

$\mathscr{L} = \frac{1}{2} \lVert \mathbf w \rVert^2 - \sum \lambda_i \Big[y_i \, \left( \mathbf x_i\cdot \color{blue}{\mathbf w} + b \right) -1\Big]\tag 5$

farklılaşan

\frac{\partial L}{\partial w} = w - \sum λ_{i} y_{i} x_{i} = 0

$\frac{\partial \mathscr{L}}{\partial \color{blue}{\mathbf w} }= \color{blue}{\mathbf w} - \sum \lambda_i \; y_i \; \mathbf x_i = 0$ .

Bu nedenle,

\begin{matrix} (6) & w = \sum λ_{i} y_{i} x_{i} \end{matrix}

$\color{blue}{\mathbf w} = \sum \lambda_i \; y_i \; \mathbf x_i\tag 6$

Ve göre farklılaşma $b:$

\frac{\partial L}{\partial b} = - \sum λ_{i} y_{i} = 0,

$\frac{\partial \mathscr{L}}{\partial b}=-\sum \lambda_i y_i = 0,$

yani sıfır toplam çarpım ve etiket ürünümüz olduğu anlamına gelir:

\begin{matrix} (7) & \sum λ_{i} y_{i} = 0 \end{matrix}

$\sum \lambda_i \, y_i = 0\tag 7$

Denklem Eq (6) 'nin Eq (5)' e tekrar bağlanması,

L = \frac{1}{2} (\sum λ_{i} y_{i} x_{i}) (\sum λ_{j} y_{j} x_{j}) - (\sum λ_{i} y_{i} x_{i}) \cdot (\sum λ_{j} y_{j} x_{j}) - \sum λ_{i} y_{i} b + \sum λ_{i}

$\mathscr{L} = \frac{1}{2} \color{purple}{\left(\sum \lambda_i y_i \mathbf x_i \right) \,\left(\sum \lambda_j y_j \mathbf x_j \right)}- \color{green}{\left(\sum \lambda_i y_i \mathbf x_i\right)\cdot \left(\sum \lambda_j y_j \mathbf x_j \right)} - \sum \lambda_i y_i b +\sum \lambda_i$

Son terim Denklem (7) 'e göre sıfırdır.

Bu nedenle,

\begin{matrix} (8) & L = \sum λ_{i} - \frac{1}{2} \sum_{i} \sum_{j} λ_{i} λ_{j} y_{i} y_{j} x_{i} \cdot x_{j} \end{matrix}

$\mathscr{L} = \sum \lambda_i - \frac{1}{2}\displaystyle \sum_i \sum_j \lambda_i \lambda_j\,\, y_i y_j \,\, \mathbf x_i \cdot \mathbf x_j\tag 8$

Eşit (8), son Lagrangiyen'dir.

Bu nedenle, optimizasyon, örnek çiftlerin nokta ürününe bağlıdır.

Yukarıdaki Denklem (1) 'deki "karar kuralına" geri dönüp Denklem (6)' ı kullanarak:

\begin{matrix} (9) & \sum λ_{i} y_{i} x_{i} \cdot u + b \geq 0 \end{matrix}

$\sum\; \lambda_i \; y_i \; \mathbf x_i\cdot \mathbf u + b \geq 0\tag 9$

Yeni bir vektör için nihai karar kuralı olacak $\mathbf u.$

— Antoni Parellada
kaynak

Orijinal bir şey yok ... Sadece giriş seviyemdeki kendi notlarım. Temelde MIT'den gelen bu videodan kendi çizimlerimle. Hatalar için lütfen bana bildirin. Anlaşılır cevaplar ve daha fazla ayrıntı için uzman seviyesine gidin (Franck'ın gönderisi ve diğerleri).

— Antoni Parellada

Ve b'yi nasıl hesaplarım ?

— Mike

1

@mike , ile destek vektörlerinin indeksleridirBurada bulabilirsiniz .

b = y_{s} - \sum_{m \in S} α_{m} y_{m} x_{m} \cdot x_{s}

$b= y_s -\displaystyle \sum_{m\in S} \alpha_m y_m \mathbf{x}_m\cdot \mathbf {x}_s$

S

$S$

(α_{i} > 0) .

$(\alpha_i > 0).$

— Antoni Parellada

@AntoniParellada müthiş cevap Antoni çok teşekkür ediyor - fakat Dual probleminde ve KTT şartlarında bir parçan eksik değil mi?

— Xavier Bourret Sicotte

@XavierBourretSicotte Bir süre üzerinde çalışamayacağım. Lütfen bu konularla ilgili alternatif bir cevap yazmayı düşünün ve eğer yaparsanız, lütfen bana bildirin, böylece bunun farkındayım ve bunu kaldırabilirim.

— Antoni Parellada

3

Dualite ve KTT koşulları hakkında bazı yorumlar

Birincil problem

Denklemler arasındaki içinde Antoni'nın sonrası @ toplarken ve , orijinal veya bu hatırlama ilkel , optimizasyon problemi şekli şöyledir: $(4)$ $(5)$

\begin{aligned} min_{w, b} f (w, b) & = min_{w, b} \frac{1}{2} | | w | |^{2} \\ s . t . g_{i} (w, b) & = - y^{(i)} (w^{T} x^{(i)} + b) + 1 = 0 \end{aligned}

$\begin{aligned} \min_{w, b} f(w,b) & = \min_{w, b} \ \frac{1}{2} ||w||^2 \\ s.t. \ \ g_i(w,b) &= - y^{(i)} (w^T x^{(i)} + b) + 1 = 0 \end{aligned}$

Lagrange yöntemi

Lagrange çarpanları yöntemi, kısıtlanmış bir optimizasyon problemini formun kısıtlanmamış bir şekline dönüştürmemizi sağlar:

L (w, b, α) = \frac{1}{2} | | w | |^{2} - \sum_{i}^{m} α_{i} [y^{(i)} (w^{T} x^{(i)} + b) - 1]

$\mathcal{L}(w, b, \alpha) = \frac{1}{2} ||w||^2 - \sum_i^m \alpha_i [y^{(i)} (w^T x^{(i)} + b) - 1]$

Burada adlandırılır Lagrange ve adlandırılır Lagrange çarpan . $\mathcal{L}(w, b, \alpha)$ $\alpha_i$

Bizim asli Lagrange'ına ile optimizasyon problemi aşağıdaki haline gelir: (kullanımı dikkat , biz de kullanıyor olması gerektiği gibi en titiz değildir ve ... burada) $min$ $max$ $\inf$ $\sup$

min_{w, b} (max_{α} L (w, b, α))

$\min_{w,b} \left( \max_\alpha \mathcal{L}(w, b, \alpha)\right)$

İkili problem

Antoni ve Prof. Patrick Winston'un türevlerinde yaptıkları, optimizasyon işlevinin ve kısıtlamaların, aşağıdakileri yapabileceğimiz bazı teknik koşulları karşıladığını varsaymaktır:

min_{w, b} (max_{α} L (w, b, α)) = max_{α} (min_{w, b} L (w, b, α))

$\min_{w,b} \left( \max_\alpha \mathcal{L}(w, b, \alpha)\right) = \max_\alpha \left( \min_{w,b} \mathcal{L}(w, b, \alpha)\right)$

Bu, ve göre nın kısmi türevlerini almamıza , sıfıra eşitlememize ve ardından sonuçları Lagrangian'ın orijinal denklemine geri sokmamıza izin verir, böylece bir eşdeğer oluşturur formun ikili optimizasyon problemi $\mathcal{L}(w, b, \alpha)$ $w$ $b$

\begin{aligned} max_{α} min_{w, b} L (w, b, α) \\ max_{α} \sum_{i}^{m} α_{i} - \frac{1}{2} \sum_{i, j}^{m} y^{(i)} y^{(j)} α_{i} α_{j} < x^{(i)} x^{(j)} > \\ s . t . α_{i} \geq 0 \\ s . t . \sum_{i}^{m} α_{i} y^{(i)} = 0 \end{aligned}

$\begin{aligned} &\max_{\alpha} \min_{w,b} \mathcal{L}(w,b,\alpha) \\ & \max_{\alpha} \sum_i^m \alpha_i - \frac{1}{2} \sum_{i,j}^m y^{(i)}y^{(j)} \alpha_i \alpha_j <x^{(i)} x^{(j)}> \\ & s.t. \ \alpha_i \geq 0 \\ & s.t. \ \sum_i^m \alpha_i y^{(i)} = 0 \end{aligned}$

Dualite ve KTT

Aşırı matematiksel tekniklere girmeden, bu koşullar Dualite ve Karush Kuhn Tucker (KTT) koşullarının bir birleşimidir ve en uygun çözümün aynı olmasını sağlayarak , ilk sorun yerine ikili problemi çözmemize izin verir . Bizim durumumuzda koşullar aşağıdaki gibidir:

Temel amaç ve eşitsizlik kısıtı işlevleri dışbükey olmalıdır
Eşitlik kısıtlama işlevi yakın olmalıdır
Kısıtlamalar kesinlikle uygulanabilir olmalıdır

Sonra asıl ve ikili problemlerin çözümü olan vardır. Ayrıca, parametreleri aşağıdaki KTT koşullarını sağlar: $w^*, \alpha^*$ $w^*, \alpha^*$

\begin{aligned} \frac{\partial}{\partial w_{i}} L (w^{*}, α^{*}, β^{*}) = 0 & (A) \\ \frac{\partial}{\partial β_{i}} L (w^{*}, α^{*}, β^{*}) = 0 & (B) \\ α_{i}^{*} g_{i} (w^{*}) = 0 & (C) \\ g_{i} (w^{*}) \leq 0 & (D) \\ α_{i}^{*} \geq 0 & (E) \end{aligned}

$\begin{aligned} &\frac{\partial}{\partial w_i} \mathcal{L}(w^*, \alpha^*, \beta^*) = 0 &(A) \\ &\frac{\partial}{\partial \beta_i} \mathcal{L}(w^*, \alpha^*, \beta^*) = 0 &(B) \\ &\alpha_i^* g_i(w^*) = 0 &(C) \\ &g_i(w^*) \leq 0 &(D) \\ &\alpha_i^* \geq 0 &(E) \end{aligned}$

Dahası, eğer bazı KTT çözümlerini sağlıyorsa, o zaman ilkel ve ikili problemin çözümü de olur. $w^*, \alpha^*$

Yukarıdaki Denklem özel bir öneme sahiptir ve ikili tamamlayıcılık koşulu olarak adlandırılır . Bu ifade eder, eğer sonra kısıtlama anlamına gelir yani eşitlik yerine eşitsizlik ile tutar, etkindir. Bu, Antonani'nin eşitsizlik kısıtlamasının eşitlik kısıtına dönüştürüldüğü türevindeki denkleminin arkasındaki açıklamadır . $(C)$ $\alpha_i^* > 0$ $g_i(w^*) = 0$ $g_i(w) \leq 0$ $(2)$

Sezgisel ama resmi olmayan bir şema

Kaynaklar

Andrew Ng 1 ve 2
MİT

— Xavier Bourret Sicotte
kaynak

2

Çok teşekkür ederim. Çabucak okudum ve daha sonra geri döndüm, ama kulağa çok hoş geliyor ve cevabımdaki eksik noktalara değiniyor.

— Antoni Parellada

Bir Destek Vektör Makinesi (SVM) nasıl çalışır?

Gösterimler

Hedef

Optimizasyon

Bir tahmin yapma

Çekirdek numarası

Daha ileri gidiyor

Dualite ve KTT koşulları hakkında bazı yorumlar

Birincil problem

Lagrange yöntemi

İkili problem

Dualite ve KTT

Sezgisel ama resmi olmayan bir şema

Kaynaklar