Lojistik regresyon ve destek vektör makineleri arasındaki fark nedir?

Lojistik regresyonun, eğitim örneklerini ayıran bir hiper düzlem bulduğunu biliyorum. Ayrıca destek vektör makinelerinin hiper düzlemi maksimum marjla bulduğunu da biliyorum.

Benim sorum: lojistik regresyon (LR) ve destek vektör makineleri (SVM) arasındaki fark, SVM hiper düzlemi maksimum marjla bulurken LR'nin eğitim örneklerini ayıran herhangi bir hiper düzlem bulması mı? Yoksa yanılıyor muyum?

Not: olduğunda lojistik fonksiyonunun verdiğini hatırlayın . Sınıflandırma eşiği olarak olduğunu varsayarsak , bir köprü veya bir karar sınırıdır.$\theta \cdot x = 0$$0.5$$0.5$$\theta \cdot x = 0$

Sert SVM'den bahsediyorsanız haklısınız ve iki sınıf doğrusal olarak ayrılabilir. LR, iki sınıfı ayıran herhangi bir çözüm bulur. Sert SVM, maksimum marjı olan tüm olası çözümler arasında "" çözümünü bulur.

Yumuşak SVM ve sınıfların doğrusal olarak ayrılamaması durumunda, küçük bir değişiklikle hala haklısınız. Hata sıfır olamaz. LR, bazı hataların en aza indirilmesine karşılık gelen bir hiper düzlem bulur. Yumuşak SVM hatayı en aza indirmeye çalışır (başka bir hata) ve aynı zamanda bu hatayı bir normalleştirme parametresi aracılığıyla marjdan alır.

İkisi arasındaki bir fark: SVM sert bir sınıflandırıcıdır, ancak LR olasılıklıdır. SVM seyrek. İki sınıf arasında en ayrımcı güce sahip olan destek vektörlerini (eğitim örneklerinden) seçer. Test sırasında diğer eğitim noktalarını bunun ötesinde tutmadığından, iki sınıftan herhangi birinin dağılımı hakkında hiçbir fikrimiz yok.

İki sınıfın doğrusal olarak ayrılabilirliği durumunda LR çözümünün (IRLS kullanarak) nasıl kırıldığını ve böyle bir durumda neden olasılıksal bir sınıflandırıcı olmayı bıraktığını açıkladım: /stats//a/133292/66491