SVM'yi sınıflandırma olasılıkları olarak yorumlamak neden yanlıştır?


11

SVM anlayışım bunun bir lojistik regresyona (LR) çok benzediğidir, yani bir sınıfa ait olma olasılığını elde etmek için sigmoid fonksiyona ağırlıklı bir özellik toplamı geçirilir, ancak çapraz entropi (lojistik) kaybı yerine fonksiyonu, eğitim menteşe kaybı kullanılarak gerçekleştirilir. Menteşe kaybını kullanmanın yararı, çekirdeği daha verimli hale getirmek için çeşitli sayısal numaralar yapabilmesidir. Bununla birlikte bir dezavantaj, ortaya çıkan modelin, karşılık gelen bir LR modelinin sahip olabileceğinden daha az bilgiye sahip olmasıdır. Bu nedenle, örneğin, çekirdekleşme olmadan (doğrusal bir çekirdek kullanarak) SVM karar sınırı, LR'nin 0,5 olasılıkla çıkacağı konumla aynı konumda olacaktır, ancak bir sınıfa ait olma olasılığının, karar sınırı.

İki sorum:

  1. Yukarıdaki yorumum doğru mu?
  2. Menteşe kaybının kullanılması SVM sonuçlarını olasılık olarak yorumlamayı nasıl geçersiz kılar?

Yanıtlar:


8

xββ0y=sbengn(βx+β0)β,β0

Doğrusal bir SVM (çekirdek yok) durumunda, karar sınırı sınırı lojistik regresyon modelindekine benzer olacaktır, ancak SVM'ye uymak için kullandığınız düzenlenme gücüne bağlı olarak değişebilir. SVM ve LR farklı optimizasyon sorunlarını çözdüğü için, karar sınırı için aynı çözümlere sahip olmanız garanti edilmez.

SVM hakkında bazı şeyleri açıklığa kavuşturacak birçok kaynak var: işte bir örnek ve başka bir kaynak.


Higgs bozonu Bu çok faydalı, teşekkürler! Sadece birkaç takip sorusu: (1) SVM karar sınırı LR'ye benzer OLMADIĞINDA sezgisel bir örnek verebilir misiniz? (2) lineer SVM ve LR genellikle diğerinden daha iyidir veya hangisinin tercih edileceği problem türleri?
GingerBadger

2
Alex: genel olarak, doğrusal SVM'ler ve LR genellikle pratikte karşılaştırılabilir performans gösterir. Olasılıksal bir çıktı istiyorsanız, LR kullanın. Yalnızca sınıf ödevlerini önemsiyorsanız, her ikisini de kullanabilirsiniz. Karar sınırlarının çok farklı olacağı bir örnek istediyseniz, karar sınırından uzakta yanlış sınıfın bir avuç noktası olan doğrusal olarak ayrılabilir bir veri kümesi hayal edebilirsiniz. Aykırı değerler lojistik regresyon sınırını kendilerine doğru çekerdi, ancak yeterince büyük bir düzenli hale getirme terimine sahip bir SVM'niz varsa, aykırı değerleri etkili bir şekilde göz ardı ederdi.
higgs broson
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.