SVM ve menteşe kaybı arasındaki ilişki nedir?

Meslektaşım ve ben, lojistik regresyon ve SVM arasındaki fark etrafında başımızı sarmaya çalışıyoruz. Açıkça farklı objektif fonksiyonları optimize ediyorlar. Bir SVM, menteşe kaybını optimize eden ayrımcı bir sınıflandırıcı olduğunu söylemek kadar basit mi? Yoksa bundan daha mı karmaşık? Destek vektörleri nasıl devreye giriyor? Gevşek değişkenler ne olacak? Neden sigmoid aktivasyon fonksiyonları ile derin bir sinir ağına sahip olamayacağınız gibi derin SVM'lere sahip olamıyorsunuz?

İkisi de ayrımcı modellerdir, evet. Lojistik regresyon kaybı fonksiyonu kavramsal olarak tüm noktaların bir fonksiyonudur. Doğru sınıflandırılmış noktalar, kayıp fonksiyonuna çok az katkıda bulunur ve sınıra yakınlarsa daha fazlasını ekler. Bu nedenle, sınırın yakınındaki noktalar kayıp için daha önemlidir ve bu nedenle sınırın ne kadar iyi olduğuna karar verir.

SVM, kavramsal olarak sınır noktalarına vurgu yapan bir menteşe kaybı kullanır. En yakın noktalardan daha uzak herhangi bir şey, işlevdeki "menteşe" (maks.) Nedeniyle kayba hiçbir şey katmaz. Bu en yakın noktalar basitçe destek vektörleridir. Bu nedenle aslında en büyük marjı oluşturan bir sınırı seçmeye indirgenir - en yakın noktaya olan mesafe. Teori, genelleme için gerçekten önemli olan sınır durumudur.

Dezavantajı, menteşe kaybının ayırt edilemez olmasıdır, ancak bu, Lagrange çarpanları aracılığıyla nasıl optimize edileceğini keşfetmek için daha fazla matematik gerektirdiği anlamına gelir. Verilerin doğrusal olarak ayrılamaz olduğu durumu gerçekten ele almaz. Gevşek değişkenler, bu olasılığın optimizasyon problemine temiz bir şekilde dahil edilmesini sağlayan bir numaradır.

Menteşe kaybını "derin öğrenme" ile kullanabilirsiniz, örneğin http://arxiv.org/pdf/1306.0239.pdf