Neden iki farklı lojistik kayıp formülasyonu / gösterimi var?

İki tür lojistik kayıp formülasyonu gördüm. Kolayca aynı olduklarını kolayca gösterebiliriz, tek fark etiketinin tanımıdır . $y$

Formülasyon / gösterim 1, : $y \in \{0, +1\}$

L (y, β^{T} x) = - y \log (p) - (1 - y) \log (1 - p)

$L(y,\beta^Tx)=-y\log(p)-(1-y)\log(1-p)$

burada lojistik fonksiyon bir gerçek sayı harita, 0,1 aralığı. $p=\frac 1 {1+\exp(-\beta^Tx)}$ $\beta^T x$

Formülasyon / gösterim 2, : $y \in \{-1, +1\}$

L (y, β^{T} x) = \log (1 + \exp (- y \cdot β^{T} x))

$L(y,\beta^Tx)=\log(1+\exp{(-y\cdot \beta^Tx}))$

Bir gösterim seçmek, bir dil seçmek gibidir, birbirini kullanmanın artıları ve eksileri vardır. Bu iki gösterim için lehte ve aleyhte olanlar nelerdir?

Bu soruyu cevaplama girişimlerim, istatistik topluluğunun ilk gösterimi sevdiğini ve bilgisayar bilimi topluluğunun ikinci gösterimi sevdiğini gösteriyor.

İlk gösterim, "olasılık" terimi ile açıklanabilir, çünkü lojistik fonksiyon gerçek bir sayı olan 0,1 aralığına dönüştürür. $\beta^Tx$
İkinci gösterim daha kısa ve menteşe kaybı veya 0-1 kaybı ile karşılaştırmak daha kolaydır.

Haklı mıyım Başka bir görüş var mı?

— Haitao Du
kaynak

Bunun daha önce defalarca sorulması gerektiğine eminim. Örneğin stats.stackexchange.com/q/145147/5739

— StasK

İkinci gösterimin menteşe kaybına göre daha kolay olduğunu neden söylüyorsunuz? Sırf

yerine

tanımlanması mı yoksa?

{- 1, 1}

$\{-1, 1\}$

{0, 1}

$\{0, 1\}$

— shadowtalker,

İlk formun simetrisini sevdim, ama lineer kısım oldukça derin gömülü, bu yüzden çalışmak zor olabilir.

— Matthew Drury

@ssdecontrol bu rakamı kontrol edin, cs.cmu.edu/~yandongl/loss.html burada x ekseni

ve y ekseni kayıp değeridir. Böyle tanım vb 01 kayıp, menteşe kaybı ile karşılaştırmak uygun olur

- y \cdot β^{T} x

$-y\cdot \beta^Tx$

— Haitao Du

Yanıtlar:

Kısa versiyonu

Evet
Evet

Uzun versiyon

Matematiksel modellemenin güzel yanı esnek olmasıdır. Bunlar gerçekten eşdeğer kayıp fonksiyonlarıdır, ancak verinin temel modellerinden çok farklıdırlar.

Formül 1

İlk gösterim , geleneksel olarak tanımlanan için bir Bernoulli olasılık modelinden türemiştir . Bu modelde, sonuç / etiket / sınıf / tahmini bir rastgele değişkenin temsil edilir bir, aşağıdaki dağılımı. Bu nedenle, olasılığı: $y$ $\{0, 1\}$ $Y$ $\mathrm{Bernoulli}(p)$

P (Y = y | p) = L (p; y) = p^{y} (1 - p)^{1 - y} = {\begin{cases} 1 - p & y = 0 \\ p & y = 1 \end{cases}

$P(Y = y\ |\ p) = \mathcal L(p; y) = p^y\ (1-p)^{1-y} = \begin{cases}1-p &y=0 \\ p &y=1 \end{cases}$

için . Gösterge değerleri olarak 0 ve 1 kullanımı, özlü ifadenin en sağındaki parçalı işlevi azaltmamızı sağlar. $p\in[0, 1]$

Eğer işaret ettiğimiz gibi, daha sonra bağlayabilirsiniz giriş veri matrisi için sağlayarak . Buradan, basit cebirsel manipülasyon ortaya koymaktadır birinci ile aynı olan için, söz konusu (ipucu: ). Böylece üzerindeki log kaybını en aza indirgemek $Y$ $x$ $\operatorname{logit} p = \beta^T x$ $\log \mathcal L(p;y)$ $L(y, \beta^Tx)$ $(y - 1) = - (1 - y)$ bir Bernoulli modelinin maksimum olabilirlik tahminine eşdeğerdir. $\{0, 1\}$

Bu formülasyon, aynı zamanda, özel bir durumdur genel lineer model olarak formüle edilir, tersinir, türevlenebilir fonksiyonu ve bir dağıtım olarak üstel etti . $Y \sim D(\theta),\ g(Y) = \beta^T x$ $g$ $D$

Formül 2

Aslında .. ı tanımlamak Ancak, Formül 2 ile aşina değilim ile ilgili bir formülasyonunda standart destek vektör makinesi . Bir SVM'nin takılması, oranına karşılık gelir $y$ $\{-1, 1\}$

max ({0, 1 - y β^{T} x}) + λ ‖ β ‖^{2} .

$\max \left(\{0, 1 - y \beta^T x \}\right) + \lambda \|\beta\|^2.$

Bu, kısıtlı bir optimizasyon probleminin Lagrangian şeklidir . Bu ise , aynı zamanda bir örneği, düzgünleştirilmiş amaç fonksiyonu ile optimizasyon problemi bir kayıp fonksiyonu için ve skalar hyperparameter kontrol regularization (aynı zamanda "büzülme") miktarı, uygulanan bu . Menteşe kaybı sadece biridir çeşitli açılan olanakları ikinci arasında,

ℓ (y, β) + λ ‖ β ‖^{2}

$\ell(y, \beta) + \lambda \|\beta\|^2$

ℓ

$\ell$

λ

$\lambda$

β

$\beta$

ℓ

$\ell$

Sorunuzda.

L (y, β^{T} x)

$L(y, \beta^Tx)$

— shadowtalker
kaynak

Formül 1 'de olmamalıdır:

p^{y} (1 - p)^{1 - y 1 - y}

$p^y(1 - p)^{\pmb{1 - y}}$

— glebm

@ Ssdecontrol'ün çok iyi bir cevabı olduğunu düşünüyorum. Sadece kendi sorum için formül 2'ye bazı yorumlar eklemek istiyorum.

L (y, \hat{y}) = \log (1 + \exp (- y \cdot \hat{y}))

$L(y,\hat y)=\log(1+\exp{(-y\cdot \hat y}))$

İnsanların bu formülasyonu sevmesinin nedeni özlü olması ve "olasılık yorumlama ayrıntılarını" kaldırmasıdır.

$\hat y$ $y$ $\hat y$

L_{01} (y, \hat{y}) = I [y \cdot \hat{y} > 0] L_{hinge} (y, \hat{y}) = (1 - y \cdot \hat{y})_{+} L_{logistic} (y, \hat{y}) = \log (1 + \exp (- y \cdot \hat{y}))

$L_{01}(y,\hat y)=I[y \cdot \hat y >0]\\ L_{\text{hinge}}(y,\hat y)=(1-y \cdot \hat y)_+\\ L_{\text{logistic}}(y,\hat y)=\log(1+\exp(-y \cdot \hat y))$

$y \cdot \hat y$ $\hat y$ $\beta^Tx$

— Haitao Du
kaynak

Kolay karşılaştırma hakkında ne demek istediğinizi anlıyorum

— shadowtalker