Python'da SVM için Lagrange katsayılarının hesaplanması

10

Python'da tam bir SVM uygulaması yazmaya çalışıyorum ve Lagrange katsayılarını hesaplamak için birkaç sorunum var.

Önce doğru yolda olduğumdan emin olmak için algoritmadan anladığımı tekrar yazmama izin verin.

Eğer isimli bir veri seti ve sınıf etikettir sonra $x_1, x_2, ..., x_n$ $y_i \in \{-1, 1\}$ $x_i$

\forall i, y_{i} (w^{T} x_{i} + b) \geq 1

$\forall i, y_i(w^Tx_i + b) \geq 1$

Bu yüzden sadece bir optimizasyon problemini çözmemiz gerekiyor

simge küçült $\|w\|^2$

tabi $y_i(w^Tx_i + b) \geq 1$

Lagrange katsayıları açısından bu, $w$ , $b$ ve $\alpha=(\alpha_1, \alpha_2, ... \alpha_n) \neq0$ ve $\geq0$ en aza indirgeme anlamına gelir:

L (α, w, b) = \frac{1}{2} ‖ w ‖^{2} - \sum α_{i} (y_{i} (w^{T} x + b) - 1)

$L(\alpha, w, b) = \frac12 \|w\|^2 - \sum \alpha_i(y_i(w^Tx + b)-1)$

Şimdi

\frac{\partial L}{\partial w} = 0 ⟹ w = \sum α_{i} y_{i} x_{i}

$\frac{\partial L}{\partial w}=0 \implies w=\sum \alpha_i y_i x_i$ ve

\frac{\partial L}{\partial b} = 0 ⟹ \sum y_{i} α_{i} = 0

$\frac{\partial L}{\partial b}=0 \implies \sum y_i \alpha_i = 0$ bunu

L (α, w, b) = Q (α) = \sum α_{i} - \frac{1}{2} \sum \sum α_{i} α_{j} y_{i} y_{j} x_{i}^{T} x_{j}

$L(\alpha, w, b) = Q(\alpha)=\sum \alpha_i - \frac12\sum \sum \alpha_i \alpha_j y_i y_j x_i^T x_j$ ,

α_{i} \geq 0 and \sum α_{i} y_{i} = 0

$\alpha_i \geq 0 \ \text{and} \ \sum \alpha_i y_i = 0$

Bu yüzden Python kullanarak optimizasyon problemini çözmeye çalışıyorum ve bulabildiğim tek ücretsiz pakete cvxopt deniyor .

Bunu çözmek için biraz yardım istiyorum, bu konuda iyi bir örnek bulamadım ve teoriyi anlasam da, koda çevirirken zorlanıyorum (tam tersi programlama arka planından daha fazla).

Bir noktada ancak bunu kodda çözme konusunda ne anlama geldiğinden emin değilim.

L (α, w, b) = Q (α) = \sum α_{i} - \frac{1}{2} \sum \sum α_{i} α_{j} y_{i} y_{j} K (x_{i}, x_{j})

$L(\alpha, w, b) = Q(\alpha)=\sum \alpha_i - \frac12\sum \sum \alpha_i \alpha_j y_i y_j K(x_i,x_j)$

Herhangi bir yardım büyük mutluluk duyacağız, bunu Python'da nasıl uygulayacağım konusunda gerçekten kayboldum. Optimizasyon problemini çözmek için daha iyi bir modülünüz varsa, bu konuyu da okumak istiyorum.

— Charles Menguy
kaynak

4

Daha önce bir SVM uygulamak için cvxopt kullandım, ancak matlab python değil. Yeterince verimli olup olmadığını ne için kullandığınıza bağlı olup olmayacağı kesinlikle amacınıza hizmet edecektir. En verimli SVM'ler QP çözücü paketi kullanmaz, SVM'ye özgü bazı optimizasyonlardan yararlanırlar. Birçoğu bunu çözmek için bir SMO tarzı algoritma kullanır.

LibSVM , Eğitim Destek Vektör Makineleri için İkinci Sipariş Bilgilerini Kullanarak Çalışma Kümesi Seçimi'nde algoritmayı kullanan bir SVM paketidir . Kodun nasıl uygulandığına bakmak istiyorsanız, açık kaynak kodludur. Ayrıca bir python arayüzü var.

SVMLight başka bir pakettir, farklı bir algoritma kullanırlar (referanslar için sitelerine bakın). Ayrıca açık kaynak kodlu ve bir python arayüzüne sahiptir.

— karenu
kaynak

Bilgilendirici cevap için teşekkürler (bence supercedes mayın) ve scicomp'a hoş geldiniz!

— Aron Ahmadia

+ 1 ilginç cevap ve ben bana çok yardımcı olan harika bağlantılarına bakmaya başladım!

— Charles Menguy

2

Optimizasyon probleminizin genel biçimi , çekirdek hile veya doğrusal bir çekirdek kullanıp kullanmadığınızdan bağımsız olarak Karesel bir Programdır . Gibi geliyor Yapmaya çalıştığınız şey için yeterli olacaktır, ama burada diğer pythonauts ile şans oldu OpenOpt de. cvxopt

— Aron Ahmadia
kaynak

Aron, Ipopt Python paketinin düzelip düzelmediğini biliyor musunuz?

— Geoff Oxberry

David Ketcheson öğrencilerinden biri onu OpenOpt ile (yarı Newton algoritmasıyla kullanabilir) çalıştırdı, ancak OpenOpt yığınının OS X'de devam etmesinde bazı zorluklar yaşadı.

— Aron Ahmadia