SVM'de hiper düzlemden uzaklığı yorumlama

SVM'leri sezgisel olarak anlama konusunda birkaç şüphem var. SVMLight veya LibSVM gibi standart bir araç kullanarak sınıflandırma için bir SVM modeli geliştirdiğimizi varsayalım.

1. Test verilerini tahmin etmek için bu modeli kullandığımızda, model her test noktası için "alfa" değerlerine sahip bir dosya oluşturur. Alfa değeri pozitifse, test noktası Sınıf 1'e aittir, aksi takdirde Sınıf 2'ye aittir. Şimdi, daha yüksek "alfa" değerine sahip bir test noktasının "daha yüksek" olasılıkla ilgili sınıfa ait olduğunu söyleyebilir miyiz?

2. İlk soruya benzer şekilde, bir SVM eğitimli olduğumuzda. SV'ler hiper-düzleme çok yakın. Yani bu SV'ların yüksek olasılıkla o sınıfa ait olduğu anlamına mı geliyor? Bir sınıfa ait bir noktanın olasılığını "hiper düzlem" den uzaklığıyla ilişkilendirebilir miyiz? "Alfa" değeri "hiper düzlem" e olan mesafeyi temsil ediyor mu?

Giriş için teşekkürler.

$\sum_i \|y_i - \langle w, x_i\rangle - b\|_2^2$$\|w\|_2^2$$w$$p(w|(y_1,x_1),...,(y_m,x_m)) \propto 1/Z \exp(-\|w\|_2^2)\prod_i \exp(\|y_i - \langle w, x_i\rangle - b\|_2^2)$$w$$Z$normalleştiğinden emin olur). Gauss olasılığını, işaretini çevirerek ve üslandırarak kayıp fonksiyonundan elde edersiniz. Ancak bunu SVM'nin kayıp fonksiyonu ile yaparsanız, log olabilirliği normalleştirilebilir olasılıklı bir model değildir.

SVM'yi bir hale getirme girişimleri vardır. Libsvm de uygulanan -sence bence- en dikkate değer olanı:

John Platt: Destek Vektör Makineleri için Olasılık Çıktıları ve Düzenlenmiş Olabilirlik Yöntemleriyle Karşılaştırma (NIPS 1999): http://www.cs.colorado.edu/~mozer/Teaching/syllabi/6622/papers/Platt1999.pdf

Sorunuzu daha açık bir şekilde cevaplamak için: SVM'lerin fikri gerçekten de bir test vektörü hiper düzlemden ne kadar uzaksa, belirli bir sınıfa o kadar çok ait olmasıdır (elbette yanlış tarafta olması hariç). Bu anlamda, destek vektörleri yüksek olasılıklı sınıfa ait değildir, çünkü bunlar ya hiper düzlemin en yakın ya da yanlış tarafında olanlardır. Eğer LIBSVM aldığım bu değer ile ilgisi yoktur karar fonksiyonunda. Daha ziyade karar fonksiyonunun çıktısı (ve bu nedenle düzgün olarak olarak adlandırılmalıdır ). Yana burada$\alpha$$\alpha$$\sum_{i \in SV}\alpha_i k(x,x_i) + b$$y$$y = \sum_{i \in SV}\alpha_i k(x,x_i) + b = \langle w, \phi(x) \rangle_{\mathcal H} + b$$w$ üreyen çekirdek Hilbert uzayında yaşıyor, hiper düzlemle işaretli mesafe ile orantılı. Eğer norm bölün eğer olurdu çekirdek açısından ise, .$y$$w$$\|w\|_{H} = \sqrt{\sum_{i,j\in SV} \alpha_i \alpha_j k(x_i,x_j)}$