menteşe kaybı ve lojistik kayıp avantajları ve dezavantajları / sınırlamaları

14

Menteşe kaybı ve günlük kaybı $\text{max}(0, 1-y_i\mathbf{w}^T\mathbf{x}_i)$ $\text{log}(1 + \exp(-y_i\mathbf{w}^T\mathbf{x}_i))$

Aşağıdaki sorularım var:

Menteşe kaybı her dezavantajları (örneğin belirtildiği gibi uçlara karşı duyarlıdır var http://www.unc.edu/~yfliu/papers/rsvm.pdf )?
Birinin diğerine göre farkları, avantajları ve dezavantajları nelerdir?

— user570593
kaynak

22

Logaritmik kayıp minimizasyonu, iyi davranılmış olasılıksal çıktılara yol açar.

Menteşe kaybı, ikili üzerinde bazı (garanti edilmeyen) seyrekliğe yol açar, ancak olasılık tahmininde yardımcı olmaz. Bunun yerine, yanlış sınıflamaları cezalandırır (bu nedenle marjları belirlemek çok yararlıdır): azalan menteşe kaybı, marj yanlış sınıflandırmalarında azalmayla birlikte gelir.

Özetlemek gerekirse:

Logaritmik kayıp, doğruluk maliyetiyle daha iyi olasılık tahminine yol açar
Menteşe kaybı, olasılıklar konusunda çok daha az duyarlılık pahasına daha iyi doğruluk ve biraz seyreklik sağlar

— kundakçı
kaynak

1

+1. Lojistik kaybın en aza indirilmesi binom olasılığını en üst düzeye çıkarmaya karşılık gelir. Kare hata kaybını en aza indirmek Gauss olasılığını en üst düzeye çıkarmaya karşılık gelir (sadece OLS regresyonu; 2 sınıflı sınıflandırma için aslında LDA'ya eşdeğerdir). Menteşe kaybını en aza indirmenin başka bir olasılığı en üst düzeye çıkarmaya karşılık gelip gelmediğini biliyor musunuz? Yani menteşe kaybına karşılık gelen herhangi bir olasılık modeli var mı?

— amip diyor Reinstate Monica

1

@amoeba Bu ilginç bir soru, ancak SVM'ler doğal olarak istatistiksel modellemeye dayanmıyor. Bunu söyledikten sonra, Glen_b tarafından bu yanıtı kontrol edin . Bütün iplik bununla ilgili, ama bunun yerine epsilon duyarsız menteşe için.

— Kundakçı

4

@Firebug iyi bir cevaba sahipti (+1). Aslında burada da benzer bir sorum vardı.

Yaklaşık 0-1 kaybına kadar sınıflandırmada farklı kayıp fonksiyonlarını seçmenin etkileri nelerdir?

Sadece lojistik kaybın bir başka büyük avantajına daha fazlasını eklemek istiyorum: olasılıksal yorumlama. Bir örnek, burada bulunabilir

Lojistik regresyon, istatistik literatüründe klasik bir modeldir. (Bkz. "Lojistik Regresyon" adı adlandırma için ne anlama geliyor? ) Lojistik kayıpla ilgili, günlük olasılık tahminini en üst düzeye çıkarma, olabilirlik oranı testleri ve binom varsayımları gibi birçok önemli kavram vardır. İşte ilgili bazı tartışmalar.

R cinsinden olabilirlik oranı testi

Lojistik Regresyon'a Neden Lojistik Sınıflandırma denmiyor?

Lojistik regresyon konusunda varsayım var mı?

Logit ve probit modelleri arasındaki fark

— Haitao Du
kaynak

1

@ Hxd1011 çapraz entropinin bir avantajını eklediğinden, bir dezavantajı ekleyeceğim.

Çapraz entropi hatası, olasılık dağılımları arasındaki birçok mesafe ölçüsünden biridir, ancak bunun bir dezavantajı, uzun kuyruklu dağılımların, beklenmedik olaylara verilen çok fazla ağırlıkla zayıf bir şekilde modellenebilmesidir.

— Aerin
kaynak