SVM Algoritmasında w vektörü neden ayırıcı hiper düzlemle dikeydir?

13

Makine Öğrenimine yeni başladım. Olarak SVM, ayırıcı hiper tanımlanır $y = w^T x + b$ . Neden vektör söylemek $w$ ayıran hiperdüzleme dik?

machine-learning svm

— Chong Zheng
kaynak

3

Benzer bir sorunun cevabı (sinir ağları için) burada .

— bogatron

@bogatron - Sana tamamen katılıyorum. Ama benimkiler sadece SVM'ye özel bir cevap.

— untitledprogrammer

2

Dışında değil. Cevabınız doğrudur, ancak SVM'lere özgü hiçbir şey yoktur (veya olmamalıdır).

w^{T} x = b

$w^{T}x=b$ basitçe bir hiper düzlemi tanımlayan bir vektör denklemidir.

— bogatron

10

Geometrik olarak, ağırlık vektör tarafından tanımlanan doğrunun dik yönlendirilir . Bu, aşağıdaki şekilde anlaşılabilir: $w^{T} x = b$

İlk önce . Şimdi açık bir şekilde ile iç çarpışan tüm vektörlerin ( bu denklemi, yani w ile dik olan tüm vektörlerin bu denklemi karşıladığı açıktır . $b = 0$ $x$ $w$

Şimdi hiper düzlemi bir a vektörü üzerinde başlangıç noktasından çevirin. Uçak için denklem haline gelir: , yani Ofset için bulmak vektör izdüşümüdür, vektör üzerine . $(x − a)^{T} w = 0$ $b = a^{T} w$ $a$ $w$

Genelliği kaybetmeden, düzleme dik bir şekilde seçebiliriz, bu durumda uzunluk bu, başlangıç noktası ve hiper düzlem arasındaki en kısa, dikey mesafeyi temsil eder. $\vert\vert a \vert\vert = \vert b \vert /\vert\vert w\vert\vert$

Bu nedenle vektörünün ayırıcı hiper düzlem ile dik olduğu söylenir. $w$

— untitledprogrammer
kaynak

5

Nedeni biz böyle olmak tanımlamak çünkü hiper düzlemine normaldir geçerli: $w$

3B alanda (hiper) bir düzlemimiz olduğunu varsayalım. Let , yani bu düzlemde bir noktası . Bu nedenle başlangıç noktasından bu noktaya kadar olan vektör sadece dır . Düzlemde keyfi bir noktamız olduğunu varsayalım . katılmadan vektör $P_0$ $P_0 = x_0, y_0, z_0$ $(0,0,0)$ $<x_0,y_0,z_0>$ $P (x,y,z)$ $P$ ve daha sonra şu şekilde verilir: Bu vektörün düzlemde olduğunu unutmayın. $P_0$

\vec{P} - \vec{P_{0}} =< x - x_{0}, y - y_{0}, z - z_{0} >

$\vec{P} - \vec{P_0} = <x-x_0, y-y_0, z-z_0>$

Şimdi izin düzlemine dik (ortogonal) vektörü olsun. Bu Not olduğu sadece bir sayıdır ve eşittir bölgesindeki bizim davamız, oysa adildir ve $\hat{n}$

\hat{n} ∙ (\vec{P} - \vec{P_{0}}) = 0

$\hat{n} \bullet (\vec{P}-\vec{P_0}) = 0$

\hat{n} ∙ \vec{P} - \hat{n} ∙ \vec{P_{0}} = 0

$\hat{n} \bullet \vec{P}- \hat{n} \bullet \vec{P_0} = 0$

- \hat{n} ∙ \vec{P_{0}}

$-\hat{n} \bullet \vec{P_0}$

b

$b$

\hat{n}

$\hat{n}$

w

$w$

\vec{P}

$\vec{P}$

x

$x$

w

$w$

— Shehryar Malik
kaynak

2

$w^Tx + b = 0$ $x_a$ $x_b$

w^{T} x_{a} + b = 0 w^{T} x_{b} + b = 0

$\begin{equation} w^Tx_a + b = 0 \\ w^Tx_b + b = 0 \end{equation}$

$w^T.(x_a - x_b) = 0$ $x_a - x_b$ $x_b$ $x_a$ $w^T.(x_a - x_b)$ $w^T$ $x_a - x_b$

— adityagaydhani
kaynak

0

Hiper düzlemle dikey olan bir vektörün cebirsel tanımını kullanarak:

$\forall \ x_1, x_2$ ayırma köprüsü üzerinde,

w^{T} (x_{1} - x_{2}) = (w^{T} x_{1} + b) - (w^{T} x_{2} + b) = 0 - 0 = 0 ◻ .

$w^T(x_1-x_2)=(w^Tx_1 + b)-(w^Tx_2 + b)=0-0=0 \ \small\Box.$

— Indominus
kaynak