SVM'yi takarken neden ikili problemle uğraşıyorsunuz?

50

Veri noktaları göz önüne alındığında ve etiketler , sert kenar SVM asli bir sorundur $x_1, \ldots, x_n \in \mathbb{R}^d$ $y_1, \ldots, y_n \in \left \{-1, 1 \right\}$

{minimize}_{w, w_{0}} \frac{1}{2} w^{T} w

$\text{minimize}_{w, w_0} \quad \frac{1}{2} w^T w$

s.t. \forall i : y_{i} (w^{T} x_{i} + w_{0}) \geq 1

$\text{s.t.} \quad \forall i: y_i (w^T x_i + w_0) \ge 1$

Bu, değişkenleri için optimize edilebilecek ikinci dereceden bir programdır ve kısıtlamaları. Çift $d+1$ $i$

{maximize}_{α} \sum_{i = 1}^{n} α_{i} - \frac{1}{2} \sum_{i = 1}^{n} \sum_{j = 1}^{n} y_{i} y_{j} α_{i} α_{j} x_{i}^{T} x_{j}

$\text{maximize}_{\alpha} \quad \sum_{i=1}^{n}{\alpha_i} - \frac{1}{2}\sum_{i=1}^{n}{\sum_{j=1}^{n}{y_i y_j \alpha_i \alpha_j x_i^T x_j}}$

olan bir kuadratik program

ve optimize edilmesi değişken

eşitsizliği ve

eşitlik kısıtlamaları.

s.t. \forall i : α_{i} \geq 0 \land \sum_{i = 1}^{n} y_{i} α_{i} = 0

$\text{s.t.} \quad \forall i: \alpha_i \ge 0 \land \sum_{i=1}^{n}{y_i \alpha_i} = 0$

n + 1

$n + 1$

n

$n$

n

$n$

Sert marjlı bir SVM uygularken, neden birincil problem yerine ikili problemi çözeyim? İlk sorun benim için daha sezgisel görünüyor ve kendimi dualite boşluğu, Kuhn-Tucker durumu vb. İle ilgilenmem gerekmiyor.

Bu ise ikili sorunu çözmek için bana mantıklı olur , ama daha iyi nedenler vardır şüpheli. Bu böyle mi? $d \gg n$

svm

— blubb
kaynak

26

Kısa cevap çekirdeklerdir. Uzun cevap keeerneeels (-;

İkili problemin en önemli özelliği, orijinal veriyi daha yüksek boyutlu uzayda haritalandırmayı amaçlayan çekirdek hilesini tanıtmaktır.

— BigeyeDestroyer

40

@ User765195'in cevabında (teşekkürler!) Belirtilen ders notlarına dayanarak en belirgin nedenler şöyle görünür:

$w$ $\alpha_i$ $x$ $w^Tx$ $d$

$\alpha_i$ $\alpha_i = 0$ $x$

w^{T} x + w_{0} = {(\sum_{i = 1}^{n} α_{i} y_{i} x_{i})}^{T} x + w_{0} = \sum_{i = 1}^{n} α_{i} y_{i} ⟨ x_{i}, x ⟩ + w_{0}

$w^Tx + w_0 = \left(\sum_{i=1}^{n}{\alpha_i y_i x_i} \right)^T x + w_0 = \sum_{i=1}^{n}{\alpha_i y_i \langle x_i, x \rangle} + w_0$

Yalnızca birkaç destek vektörü varsa , bu terim çok verimli bir şekilde hesaplanır . Dahası, artık sadece veri vektörlerini içeren bir skaler ürüne sahip olduğumuz için, çekirdek hilesini uygulayabiliriz .

— blubb
kaynak

5

Bekleyin bekleyin. İki destek vektörünüzün x1 ve x2 olduğunu varsayalım. İkiden daha azına sahip olamazsın, değil mi? <X1, x> ve <x2, x> işlemlerinin <w, x> den daha hızlı olduğunu mu söylüyorsunuz?

— Leo

1

@Leo: <x1, x>ve kullandığımı unutmayın wTx. İlki, x1 ve x'i çok yüksek boyutlu bir alana yansıtan ve yansıtılan değerlerin skaler çarpımını dolaylı olarak hesaplayan bir çekirdek değerlendirmesi K (x1, x) için bir sembol olarak kullanılır. İkincisi, normal skaler bir üründür, bu yüzden wve xaçıkça öngörülen edilecek gelmiş ve sonra skaler ürün açıkça hesaplanır. Çekirdeğin seçimine bağlı olarak, tek bir açık hesaplama birçok çekirdek değerlendirmesinden çok daha fazla hesaplama yapabilir.

— blubb

1

α

$\alpha$

α

$\alpha$

α

$\alpha$

2

"Ayrıca, artık yalnızca veri vektörlerini içeren bir skaler ürüne sahip olduğumuz için, çekirdek numarasını uygulayabiliriz." - Bu da ilkel formülasyonda doğrudur.

— Firebug

2

Eğer millet, @Firebug'dan gelen yorum hakkında daha fazla ayrıntı istiyorsa ... lib.kobe-u.ac.jp/repository/90001050.pdf ( 10-15) 'in (bu ilkelin sınırlandırılmamış bir versiyonu) denklemlerine bakın .

— MrDrFenner,

13

13. sayfadaki ikinci paragrafı ve bu notlarla devam eden tartışmayı okuyun:

http://cs229.stanford.edu/notes/cs229-notes3.pdf

— user765195
kaynak

17

Bu harika bir referans ve soruyu net bir şekilde cevaplıyor. Cevabınızı burada özetlerseniz cevabınızın daha iyi olacağını düşünüyorum: bu konuyu tek başına hazırlar.

— whuber

3

İkili formülasyonun sayısal optimizasyon açısından çekici olmasının bir nedeni. Ayrıntıları aşağıdaki makalede bulabilirsiniz :

Hsieh, C.-J., Chang, K.-W., Lin, C.-J., Keerthi, SS, ve Sundararajan, S., “İki boyutlu bir koordinat iniş ölçeği doğrusal SVM yöntemi”, Bildiriler 25. Uluslararası Makine Öğrenimi Konferansı, Helsinki, 2008.

İkili formülasyon, tek bir afin eşitlik kısıtını ve n bağlı kısıtlamaları içerir.

1. Afin eşitliği kısıtı ikili formülasyondan "elimine edilebilir".

Bu, her bir veri noktasına tek bir "1" koordinat eklenmesinden kaynaklanan R ^ (d + 1) 'de R ^ d'nin gömülmesiyle basitçe R ^ (d + 1) içindeki verilerinize bakarak yapılabilir. d ----> R ^ (d + 1): (a1, ..., reklam) | ---> (a1, ..., reklam, 1).

Eğitim setindeki tüm noktalar için bunu yapmak, R ^ (d + 1) 'deki lineer ayrılabilirlik problemini ortadan kaldırır ve w0 sabit terimini sınıflandırıcınızdan kaldırır, bu da afin eşitliği kısıtlamasını ikiliden ortadan kaldırır.

2. Nokta 1'e göre, ikili, kısıtları sadece sınırlı kısıtlamalar olan dışbükey bir ikinci dereceden optimizasyon problemi olarak kolayca kullanılabilir.

3. İkili problem şimdi etkin bir şekilde çözülebilir, yani O'da bir epsilon-optimal çözüm üreten çift koordinatlı bir iniş algoritması ile (log (1 / epsilon)).

Bu, biri hariç tüm alfaların sabitlenmesinin kapalı formlu bir çözüm getirdiğine dikkat çekerek yapılır. Daha sonra tüm alfalar arasında birer birer geçiş yapabilirsiniz (örneğin, bir tanesini rastgele seçerek, tüm diğer alfaları sabitleyerek, kapalı form çözümünü hesaplayarak). Bu sayede, "oldukça hızlı" bir şekilde en uygun çözeltiyi elde edebileceğinizi gösterebilir (yukarıda bahsedilen makalede Teorem 1'e bakınız).

İkili problemin bir optimizasyon bakış açısından çekici olmasının birçok nedeni vardır; bunlardan bazıları, yalnızca birinin eşitlik kısıtlamasına sahip olduğu gerçeğinden yararlanırken (geri kalan kısıtlamaların tümü sınırlı sınırlamalardır), diğerleri ise çözümdeki gözlemden yararlanır İkili problemin "çoğu zaman çoğu alfa" sı sıfırdır (destek vektörlerine karşılık gelen sıfır olmayan alfalar).

Stephen Wright'ın Hesaplamalı Öğrenme Atölyesi'ndeki (2009) sunumu ile SVM'ler için sayısal optimizasyonla ilgili iyi bir genel bakış elde edebilirsiniz .

PS: Ben burada yeniyim. Bu web sitesinde matematiksel gösterimi kullanmakta iyi olmadığım için özür dilerim.

— ATN
kaynak

1

Matematik yazımı nasıl kullanılacağı hakkında bilgi burada: math.meta.stackexchange.com/questions/5020/…

— Monica

-5

Andrew ng ders notunda bence, 1 / || w || 'in temel probleminin dışbükey olmayan bir problem olduğu açıkça belirtilmiştir. İkili bir dışbükey sorunudur ve dışbükey bir fonksiyonun optimumunu bulmak her zaman kolaydır.

— Avni Kant Rai
kaynak

1

SVM primer yukarıda belirtildiği gibi dışbükeydir.

— Dougal