SVM ve lojistik regresyonun karşılaştırılması

37

Birisi lütfen SVM veya LR'yi ne zaman seçeceğiniz konusunda bana biraz fikir verebilir mi? İlgili amaçların aşağıdaki gibi olduğu ikisinin hiper düzlemini öğrenme optimizasyon kriterleri arasındaki farkın arkasındaki sezgiyi anlamak istiyorum:

SVM: En yakın destek vektörleri arasındaki marjı maksimize etmeye çalışın
LR: Arka sınıf olasılığını maksimuma çıkarın

Hem SVM hem de LR için doğrusal özellik alanını göz önüne alalım.

Zaten bildiğim bazı farklılıklar:

SVM deterministiktir (ancak olasılık skoru için Platts modelini kullanabiliriz), LR ise olasılıklıdır.
Çekirdek alanı için SVM daha hızlıdır (yalnızca destek vektörlerini depolar)

— user41799
kaynak

2

Bu ifade yanlıştır: " LR: Arka sınıf olasılığını en üst düzeye çıkarmak ". Lojistik regresyon, bazı arka yoğunlukları değil, olasılığı en üst düzeye çıkarır. Bayesçi lojistik regresyon farklı bir hikaye, ama eğer kastediyorsanız, bu konuda spesifik olmanız gerekir.

— Digio

30

Doğrusal SVM'ler ve lojistik regresyon genellikle pratikte karşılaştırmalı olarak gerçekleştirilir. Verilerinizin doğrusal olarak ayrılmayacağına inanmak için bir nedeniniz varsa SVM'yi doğrusal olmayan bir çekirdeğe sahip kullanın (veya aykırı değerler için LR'nin normalde tolere edebileceğinden daha sağlam olmanız gerekir). Aksi halde, önce lojistik regresyonu deneyin ve bu basit modelle nasıl yaptığınızı görün. Lojistik regresyon başarısız olursa, RBF gibi doğrusal olmayan bir çekirdeğe sahip bir SVM'yi deneyin.

DÜZENLE:

Tamam, nesnel işlevlerin nereden geldiği hakkında konuşalım.

Lojistik regresyon genelleştirilmiş doğrusal regresyondan gelir. Bu bağlamda lojistik regresyon amacı fonksiyonunun iyi bir tartışmasını burada bulabilirsiniz: https://stats.stackexchange.com/a/29326/8451

Destek Vektör Makineleri algoritması çok daha geometrik olarak motive edilir . Olasılıklı bir model varsaymak yerine, destek vektörleri bağlamında "iyiliği" tanımladığımız belirli bir optimal ayırma hiper düzlemi bulmaya çalışıyoruz. Buradaki lojistik regresyonda kullandığımız istatistiksel modele benzeyen hiçbir şeyimiz yok, doğrusal durum bize benzer sonuçlar verse de: gerçekten bu sadece lojistik regresyonun "geniş marjlı" sınıflandırıcıları üretmek için oldukça iyi bir iş çıkardığı anlamına geliyor, çünkü tüm SVM'ler yapmaya çalışıyor (özellikle, SVM sınıflar arasındaki boşluğu "maksimize etmeye" çalışıyor).

Daha sonra tekrar gelip yabani otların derinliklerine biraz daha girmeye çalışacağım, sadece bir şeyin ortasındayım: p

— David Marx
kaynak

1

Ancak bu, aşağıdaki gibi SVM v / s LR'nin nesnel işlevlerindeki sezgisel farkın ne olduğu konusundaki sorumu cevaplamıyor: (a) SVM: En yakın destek vektörleri (b) LR: arasındaki mesafeyi maksimize etmeye çalışın: Arka sınıf olasılığını en üst düzeye çıkarın

— user41799 2

Yani, bu tamamen farklı bir soru. Modelleri ne zaman kullanacağınızı veya nesnel işlevlerinin biçimini neyin motive ettiğini soruyor musunuz?

— David Marx,

1

Amaç işlevlerinin biçimini neyin motive ettiği ile daha çok ilgileniyorum

— user41799

4

Buna daha sonra tekrar gelip yabani otları biraz daha derinleştirmeye çalışacağım, sadece bir şeyin ortasındayım Dört yıl sonra ...

— user1717828

23

Görüntü, SVM ve Logistic Regression arasındaki farkı ve hangi yöntemin nerede kullanılacağını gösterir.

Bu resim kurs dersinden geliyor: Andrew NG tarafından "makine öğrenmesi". Sonunda 7. haftada bulunabilir: "Destek vektör makineleri - bir SVM kullanarak"

— JSONParser
kaynak

"Özellikler" ile, benzersiz özelliklerin sayısını mı yoksa bu özelliklere ait toplam benzersiz değerlerin sayısını mı kastediyorsunuz?

— Ahmedov

örneğin: kauçuğun fiyat fiyat tahmininde bir özellik benzin fiyatı bir hava vb. .....

— JSONParser

Aslında, görüntü farklılıkları hakkında bir şey söylemiyor ...

— Jan Kukacka

fark yanlış olabilir kelime karşılaştırma daha iyi olabilir

— JSONParser

1

LR, kararda güven olarak yorumlanabilecek kalibre edilmiş olasılıklar verir.
LR bize sınırsız, pürüzsüz bir hedef veriyor.
LR, Bayesian modellerinde (basitçe) kullanılabilir.
SVM'ler, doğru kararın yeterli bir güvenle verildiği örnekleri cezalandırmaz. Bu genelleme için iyi olabilir.
SVM'ler, çekirdek numarası kullanırken daha iyi çözümler sunan hoş bir ikili forma sahiptir (daha iyi ölçeklenebilirlik)

Check out Lojistik Regresyon, Toronto CSC2515 Üniversitesi vs Destek Vektör Makineleri Kevin Swersky tarafından.

— Chankey Pathak
kaynak