Bazı düşüncelerim olsa doğru olmayabilir.
Böyle bir tasarıma sahip olmamızın nedenini (menteşe ve lojistik kaybı için) amaç fonksiyonunun dışbükey olmasını istiyoruz.
Dışbükeylik kesinlikle güzel bir özelliktir, ancak bence en önemli sebep, nesnel fonksiyonun sıfır olmayan türevlere sahip olmasını istememizdir , böylece türevlerden onu çözmek için faydalanabiliriz. Amaç, dışbükey olmayabilir, bu durumda genellikle bazı yerel optima veya eyer noktalarında dururuz.
ve ilginç bir şekilde, eğer zayıf sınıflandırılmışlarsa doğru sınıflandırılmış örnekleri de cezalandırır. Bu gerçekten garip bir tasarım.
Bence bu tür bir tasarım, modele sadece doğru tahminleri yapmakla kalmayıp aynı zamanda tahminler konusunda da kendinden emin olmayı tavsiye ediyor. Doğru sınıflandırılmış örneklerin cezalandırılmasını istemiyorsak, örneğin, menteşe kaybını (mavi) sola doğru 1 hareket ettirebiliriz, böylece artık kayıp olmazlar. Ancak bunun genellikle uygulamada daha kötü sonuçlara yol açacağına inanıyorum.
menteşe kaybı ve lojistik kaybı gibi farklı "vekil zarar fonksiyonları" kullanarak ödememiz gereken fiyatlar nelerdir?
IMO, farklı kayıp fonksiyonlarını seçerek, modele farklı varsayımlar getiriyoruz. Örneğin, lojistik regresyon kaybı (kırmızı) bir Bernoulli dağılımını varsayar, MSE kaybı (yeşil) bir Gauss gürültüsünü alır.
PRML'deki en küçük karelere karşı lojistik regresyon örneğini takiben karşılaştırma için menteşe kaybını ekledim.
Şekilde gösterildiği gibi, menteşe kaybı ve lojistik regresyon / çapraz entropi / log olasılığı / yumuşak artı çok yakın sonuçlara sahiptir, çünkü objektif işlevleri yakındır (aşağıdaki şekil), MSE genellikle aykırı değerlere karşı daha hassastır. Menteşe kaybı her zaman benzersiz bir çözüme sahip değildir, çünkü kesinlikle dışbükey değildir.
Bununla birlikte, menteşe kaybının önemli bir özelliği, karar sınırından uzaktaki veri noktalarının, kayıplara hiçbir şey katkısı olmadığı, çözümün kaldırılan noktalarla aynı olacağıdır.
Kalan noktalara SVM bağlamında destek vektörleri denir. SVM, maksimum marj özelliğini ve benzersiz bir çözümü sağlamak için bir düzenleyici terim kullanır.
