Doğrusal olmayan ayrılabilir veriler üzerinde doğrusal bir SVM'yi eğittiğimizde ne olur?

Doğrusal olarak ayrılamayan veriler üzerinde temel bir destek vektör makinesini (doğrusal çekirdek ve yumuşak kenar boşluğu yok) eğittiğimizde ne olur? Optimizasyon problemi mümkün değil, bu yüzden minimizasyon algoritması ne döndürüyor?

Temel destek vektör makinesinin sert marjlı SVM anlamına geldiğini düşünüyorum. Şimdi inceleyelim:

Zor Marjlı SVM Nedir

Kısacası, eğitim örnek alanımızdaki tüm gözlemleri doğru bir şekilde ayırabilen en büyük marjlı bir hiper düzlem bulmak istiyoruz.

Zor marjlı SVM'de optimizasyon sorunu

Yukarıdaki tanım göz önüne alındığında, çözmemiz gereken optimizasyon problemi nedir?

1. En büyük kenar boşluğu köprüsü: İstiyoruz max(margin)
2. Tüm gözlemleri doğru bir şekilde ayırabilme: marginKısıtlamayı optimize etmeli ve de karşılamalıyız: Örnek içi hata yok

Doğrusal olmayan ayrılabilir veriler üzerinde doğrusal bir SVM'yi eğittiğimizde ne olur?

Sorunuza geri döndüğünüzde, eğitim veri kümesinin doğrusal olarak ayrılabilir olmadığından bahsettiğiniz için, özellik dönüşümleri olmadan sert kenarlı SVM kullanarak, "Örnek içi hata yok" u sağlayan herhangi bir köprü bulmak imkansızdır .

Normalde SVM optimizasyon problemini Karesel Programlama ile çözeriz, çünkü kısıtlamalarla optimizasyon görevleri yapabilir. Sabit kenar boşluklu SVM'nin kısıtlamalarını yerine getirmeden Gradient Descent veya diğer optimizasyon algoritmaları kullanıyorsanız, yine de bir sonuç almalısınız, ancak bu sabit kenar boşluklu bir SVM hiper düzlemi değildir.

Bu arada, doğrusal olarak ayrılamayan verilerle, genellikle

• sabit kenarlı SVM + özellik dönüşümleri
• doğrudan yumuşak kenar boşluklu SVM kullanın (Pratik olarak, yumuşak kenar boşluklu SVM genellikle iyi sonuçlar alır)