Vektör regresyon desteği sezgisel olarak nasıl çalışır?

Tüm SVM örnekleri sınıflandırma ile ilgilidir. Regresyon için bir SVM'nin (destek vektör regresör) regresyonda nasıl kullanılabileceğini anlamıyorum.

Anladığım kadarıyla, bir SVM en uygun hiper düzlemi bulmak için iki sınıf arasındaki marjı maksimuma çıkarır. Bu nasıl bir regresyon probleminde işe yarar?

Kısaca: Marjı maksimize etmek, daha genel olarak , hem sınıflandırma hem de regresyonda yapılan (esasen model karmaşıklığını en aza indiren) en aza indirerek çözümü düzenli hale getirme olarak görülebilir . Ancak sınıflandırma halinde bu en aza indirilmesi örnekleridir değer olması koşuluyla doğru ve regresyon halinde sınıflandırılır koşuluyla yapılır y Bütün örneklerde daha az gerekli hassasiyeti daha sapma £ değerinin dan f ( x ) regresyon için.$w$$y$$\epsilon$$f(x)$

Sınıflandırmadan regresyona nasıl geçtiğinizi anlamak için her iki vakanın da problemi bir dışbükey optimizasyon problemi olarak formüle etmek için aynı SVM teorisini nasıl uyguladığını görmek yardımcı olur. İki tarafı da yan yana koymaya çalışacağım.

$\epsilon$

sınıflandırma

$f(x)= wx +b$$f(x) \geq 1$$f(x) \leq -1$$f'=w$

$f(x)$$f(x)$ in this region will yield the most general solution.

The data points at the 2 red bars are the support vectors in this case, they correspond to the non-zero Lagrange multipliers of the equality part of the inequality conditions $f(x) \geq 1$ and $f(x) \leq -1$

Regression

In this case the goal is to find a function $f(x)= wx +b$ (red line) under the condition that $f(x)$ is within a required accuracy $\epsilon$ from the value value $y(x)$ (black bars) of every data point, i.e. $|y(x) -f(x)|\leq \epsilon$ where $epsilon$ is the distance between the red and the grey line. Under this condition we again want to minimise $f'(x)=w$, again for the reason of regularisation and to obtain a unique solution as the result of the convex optimisation problem. One can see how minimising $w$ results in a more general case as the extreme value of $w=0$ would mean no functional relation at all which is the most general result one can obtain from the data.

The data points at the 2 red bars are the support vectors in this case, they correspond to the non-zero Lagrange multipliers of the equality part of the inequality condition $|y -f(x)|\leq \epsilon$.

Conclusion

Both cases result in the following problem:

Under the condition that:

• All examples are classified correctly (Classification)
• The value $y$ of all examples deviates less than $\epsilon$ from $f(x)$. (Regression)

In SVM for classification problem we actually try to separate the class as far as possible from the separating line (Hyperplane) and unlike logistic regression, we create a safety boundary from both sides of the hyperplane (different between logistic regression and SVM classification is in their loss function). Eventually, having a separated different data points as far as possible from hyperplane.

In SVM for regression problem, We want to fit a model to predict a quantity for future. Therefore, we want the data point(observation) to be as close as possible to the hyperplane unlike SVM for classification. The SVM regression inherited from Simple Regression like (Ordinary Least Square) by this difference that we define an epsilon range from both sides of hyperplane to make the regression function insensitive to the error unlike SVM for classification that we define a boundary to be safe for making the future decision(prediction). Eventually, SVM in Regression has a boundary like SVM in classification but the boundary for Regression is for making the regression function insensitive respect to the error but the boundary for classification is only to be way far from hyperplane(decision boundary) to distinguish between class for future (that is why we call it safety margin).