Neden fiili standart sigmoid fonksiyonu, $\frac{1}{1+e^{-x}}$ , (derin olmayan) sinir ağlarında ve lojistik regresyonda çok mu popüler?

Neden daha hızlı işlem süresi veya daha yavaş bozunma ile diğer türetilebilir fonksiyonların birçoğunu kullanmıyoruz (bu yüzden kaybolma derecesi daha az gerçekleşir). Sigmoid fonksiyonları hakkında birkaç örnek Wikipedia'da . Yavaş yavaş bozulan ve hızlı hesaplanan favorilerimden biri . $\frac{x}{1+|x|}$

DÜZENLE

Soru, sadece 'neden' ve sadece sigmoid için ilgilendiğim için, artı / eksilere sahip sinir ağlarındaki Kapsamlı aktivasyon fonksiyonlarının listesi .

logistic neural-networks least-squares

— Mark Horvath
kaynak

6

Lojistik sigmoidin softmax fonksiyonunun özel bir örneği olduğuna dikkat edin ve bu soruya cevabımı görün

— Neil G

10

Orada olan yaygın kullanılan probitin veya cloglog gibi diğer işlevleri bakın: stats.stackexchange.com/questions/20523/...

— Tim

4

@ user777 Bahsettiğiniz iş parçacığı neden soruyu gerçekten yanıtlamadığından, yinelenen bir kopya olup olmadığından emin değilim .

— Tim

@KarelMacek, türevinin 0'da sol / sağ sınırı olmadığından emin misiniz? Pratik olarak Vikipedi bağlantılı görüntü üzerinde güzel bir teğet gibi görünüyor.

— Mark Horvath

5

Bunu yinelemeli olarak kapatmak için oy veren çok sayıda seçkin topluluk üyesine katılmamaktan nefret ediyorum, ancak görünen yinelemenin "neden" i ele almadığı ve dolayısıyla bu soruyu yeniden açmak için oy kullandığım konusunda ikna oldum.

— whuber

24

Kendimi bu cevaptan farklı bir soruya atmak:

Örüntü Tanıma ve Makine Öğrenmesi'nin 4.2. Bölümünde (Springer 2006), Bishop, logitin doğal olarak iki sınıflı bir sınıflandırmada bir Bayesian tedavisinde posterior olasılık dağılımı biçiminde ortaya çıktığını göstermektedir. Daha sonra, aynısının isteğe bağlı olarak dağıtılmış özellikler ve üstel dağılımlar ailesinin bir alt kümesi için geçerli olduğunu göstermeye devam etti. Çok sınıflı sınıflandırma için, logit normalleştirilmiş üstel veya softmax fonksiyonuna genellenir.

Bu, bu sigmoidin lojistik regresyonda neden kullanıldığını açıklar.

Sinir ağları ile ilgili olarak, bu blog yazısı logit / softmax ve sinir ağlarında kullanılan probit gibi farklı doğrusallıklara nasıl istatistiksel bir yorum ve motivasyon verilebileceğini açıklar. Temel fikir, çok katmanlı bir sinir ağının genelleştirilmiş doğrusal modellerin hiyerarşisi olarak görülebileceği; buna göre, aktivasyon fonksiyonları, sırasıyla farklı dağıtım varsayımlarına karşılık gelen bağlantı fonksiyonlarıdır.

— A. Donda
kaynak

1

Harika! Dolayısıyla, bir ağda sigmoidler kullanırken, ağın çeşitli olayların (iç katmanlarda veya çıktıda) olasılıklarını "modellediğini" varsaydığımızı söyleyebiliriz. Bu, kare hatası için bile bir ağ içindeki mantıklı bir model olabilir (nöron çıkışına farklı bir aktivasyon işlevi sağlar). Daha önce bu sezgiyi hiç düşünmedim, teşekkürler!

— Mark Horvath

@MarkHorvath Yardım edebildiğime sevindim. :-)

— A. Donda

Tarihsel olarak, öyle değil. Dağınık bir tarihin en iyi özeti, logit'in istatistiksel bilime girmesidir, çünkü zamanla değişimi öngörmek için kullanılan işlevsel formlar (lojistik eğrileri izlemesi beklenen popülasyonlar), ikili yanıtlar için link işlevleri [orada aachronistic kullanım!] Uyarlandığında ve benimsendiğinde doğru görünüyordu. ; ve mutlak değerlerdeki ifadeler olmayan basit hesapla manipüle etmek kolaydır. Ancak, doğal olarak, bu tür işlevler için en basit mantıksal gerekçelendirme ilginç ve çok önemlidir ve cevabınız buna cevap verir.

— Nick Cox

1

Her iki Bishop kitabındaki (2006 ve 1995) bölümleri okudum ve hala logit ile motivasyona sahip olmama rağmen, sigmoidin burada gerekli olduğuna ikna olmadım. İki sınıf Poisson varsayımına dayanarak aynı çapraz entropi kaybı fonksiyonunu yazarsam, ancak daha sonra sigmoid yerine farklı bir aktivasyon fonksiyonu kullanırsam ne olur? Mesela, bu benzer fakat oldukça iyi olmayan bir parça parça tanımlanmıştır: g (x) = 1 / (2-2x) eğer x <0, 1 - 1 / (2 + 2x) için x> 0, g (0) = 0.5. Şimdi, maksimum olabilirlik denklemi farklı görünüyor, ancak en aza indirirsek, yine de çıktı olarak olasılıklar elde edemez miyiz?

— eraoul

Bischop

almış olsaydı

, "doğal olarak ortaya çıkan" fonksiyonu olacaktır

a = \frac{p (x, C_{1})}{\sqrt{(1 + p (x, C_{1})) p (x, C_{2})}}

$a = \frac{p(x, C_1)}{\sqrt{(1 + p(x, C_1)) p(x, C_2)}}$

, değil mi?

\frac{a}{\sqrt{1 + a^{2}}}

$\frac{a}{\sqrt{1 + a^2}}$

— Bay Tsjolder

18

Bu fonksiyonun diğerlerinden daha "doğal" görünmesinin bir nedeni, Bernoulli dağılımının kanonik parametresinin tersi olması şudur: (Üs içindekiişlevikanonik parametre olarak adlandırılır.)

\begin{aligned} f (y) & = p^{y} (1 - p)^{1 - y} \\ = (1 - p) tecrübe {y günlük (\frac{p}{1 - p})} . \end{aligned}

$\begin{align} f(y) &= p^y (1 - p)^{1 - y} \\ &= (1 - p) \exp \left \{ y \log \left ( \frac{p}{1 - p} \right ) \right \} . \end{align}$

p

$p$

Belki daha çekici bir gerekçe, sigmoid fonksiyonunun bir maksimum entropi modeli olarak türetilebileceği bilgi teorisinden kaynaklanmaktadır . Kabaca konuşursak, sigmoid işlevi minimal bir yapıya bürünür ve temel model hakkındaki genel cehalet durumumuzu yansıtır.

— dsaxton
kaynak

Lojistik regresyon için iyi bir gerekçe. Bunu da kare hata için kullanmaya devam ettiğimiz komik şey ...

— Mark Horvath

11

Bu soruyu kendime aylardır sordum. CrossValidated ve Quora'daki cevaplar, lojistik sigmoid fonksiyonunun güzel özelliklerini listeliyor, fakat sanırım bu fonksiyonu zekice tahmin ediyoruz. Kaçırdığım şey, onu seçmenin gerekçesiydi. Sonunda Bengio'nun (2016) "Derin Öğrenme" kitabının 6.2.2.2 bölümünde bir tane buldum . Kendi sözlerime göre:

Kısaca, modelin çıktısının logaritmasının, eğitim verilerinin log olasılığının gradyan tabanlı optimizasyonuna uygun olmasını istiyoruz.

Motivasyon

Bir lineer model isteyen, ancak kullanamaz $z = w^T x + b$ ile doğrudan olarak $z \in (-\infty, +\infty)$ .
Sınıflandırma için, Bernoulli dağılımı almaları ve anlaşmanın parametre modellemek için mantıklı $\theta$ içinde $P(Y=1) = \theta$ .
Yani, biz haritaya ihtiyacımız $z$ den $(-\infty, +\infty)$ için $[0, 1]$ sınıflandırma yapmak.

Neden lojistik sigmoid fonksiyonu?

Kesilmesi $z$ ile $P(Y=1|z) = max\{0, min\{1, z\}\}$ için bir sıfır gradyanı $z$ dışında $[0, 1]$ . Modelin öngörüsü yanlış olduğunda güçlü bir degradeye ihtiyacımız var, çünkü lojistik gerilemeyi degrade iniş ile çözüyoruz. Lojistik regresyon için kapalı form çözümü yoktur.

Lojistik fonksiyonu, modelin öngörüsü yanlış olduğunda, modele uyması için Maksimum Olabilirlik Tahminini kullandığımızdan dolayı sabit bir degradeyi asimto etme özelliğine sahiptir. Bu aşağıda gösterilmiştir:

Sayısal avantajlar için, Maksimum Verimlilik Tahmini, eğitim verilerinin negatif log olasılığını en aza indirerek yapılabilir. Yani, bizim maliyet fonksiyonumuz:

\begin{aligned} J (w, b) & = \frac{1}{m} \sum_{i = 1}^{m} - \log P (Y = y_{i} | x_{i}; w, b) \\ = \frac{1}{m} \sum_{i = 1}^{m} - (y_{i} \log P (Y = 1 | z) + (y_{i} - 1) \log P (Y = 0 | z)) \end{aligned}

$\begin{align} J(w, b) &= \frac{1}{m} \sum_{i=1}^m -\log P(Y = y_i | x_i; w, b) \\ &= \frac{1}{m} \sum_{i=1}^m - \big(y_i \log P(Y=1 | z) + (y_i-1)\log P(Y=0 | z)\big) \end{align}$

Yana $P(Y=0 | z) = 1-P(Y=1|z)$ , biz odaklanabilir $Y=1$ durumunda. Öyleyse soru, olduğu göz önüne alındığında $P(Y=1 | z)$ nin nasıl modelleneceğidir . $z = w^T x + b$

Fonksiyon için belirgin şartlar $f$ eşleme $z$ için $P(Y=1 | z)$ şunlardır:

$\forall z \in \mathbb{R}: f(z) \in [0, 1]$
$f(0) = 0.5$
$f$ dönel olarak simetrik wrt $(0, 0.5)$ , yani $f(-x) = 1-f(x)$ , böylece sınıfların işaretlerini çevirmenin maliyet fonksiyonu üzerinde bir etkisi olmaz.
$f$ , azalan olmayan, sürekli ve farklı olabilir olmalıdır.

Bu gerekliliklerin tümü sigmoid fonksiyonlarını yeniden ölçeklendirerek yerine getirilir . Her ikisi de $f(z) = \frac{1}{1 + e^{-z}}$ ve $f(z) = 0.5 + 0.5 \frac{z}{1+|z|}$ onları yerine getirmek. Bununla birlikte, sigmoid fonksiyonları log olasılığının gradyan tabanlı optimizasyonu sırasındaki davranışlarına göre farklılık gösterir. lojistik fonksiyonunu takarak farkı görebiliriz. $f(z) = \frac{1}{1 + e^{-z}}$ eden maliyet fonksiyonuna.

için doygunluk $Y=1$

İçin $P(Y=1|z) = \frac{1}{1 + e^{-z}}$ ve $Y=1$ , tek bir yanlış sınıflandırılmış numunenin maliyeti (yani $m=1$ ):

\begin{aligned} J (z) & = - \log (P (Y = 1 | z)) \\ = - \log (\frac{1}{1 + e^{- z}}) \\ = - \log (\frac{e^{z}}{1 + e^{z}}) \\ = - z + \log (1 + e^{z}) \end{aligned}

$\begin{align} J(z) &= -\log(P(Y=1|z)) \\ &= -\log(\frac{1}{1 + e^{-z}}) \\ &= -\log(\frac{e^z}{1+e^z}) \\ &= -z + \log(1 + e^z) \end{align}$

Doğrusal bir bileşen olduğunu görebiliriz $-z$ . Şimdi iki davaya bakabiliriz:

Tüm $z$ büyük olduğu için, modelin tahmini, doğru $Y=1$ . Maliyet fonksiyonunda, $\log(1 + e^z)$ büyük için asimptotları $z$ $z$ . Böylece, kabaca iptal eder $-z$ çıkışınıbu örnek için kabaca sıfır bir maliyete ve zayıf bir degradeye neden olur. Bu, model zaten doğru sınıfı öngördüğü için anlamlıdır.
Tüm $z$ (ancak küçük $|z|$ büyüktür), modelin tahmini olarak değil , çünkü doğru $Y=1$ . Maliyet fonksiyonunda $\log(1 + e^z)$ küçük için asimptotları $0$ olarak $z$ . Bu durumda, bu örnek için toplam maliyeti kabaca $-z$ gradyanı wrt anlamı, $z$ yaklaşık edilir $-1$ . Bu, modelin aldığı sabit gradyanı temel alarak yanlış tahminini düzeltmesini kolaylaştırır. Çok küçük bile için $z$ , devam eden bir doygunluk yoktur, bu da kaybolma derecelerine neden olur.

için doygunluk $Y=0$

Yukarıda, $Y=1$ örneğine odaklandık . İçin $Y=0$ , maliyet fonksiyon davranır benzer şekilde, güçlü gradyanları temin modelin tahmini yanlış olduğu zaman.

Bu, için $J(z)$ maliyet fonksiyonudur. $Y=1$ :

Yatay olarak döndürülmüş softplus işlevidir. İçin $Y=0$ , bu SOFTPLUS fonksiyonudur.

Alternatifler

Lojistik sigmoid fonksiyonunun alternatiflerinden bahsettiniz, örneğin $\frac{z}{1+|z|}$ . $[0,1]$ e normalize edildiğinde, bumodelini kullandığımız anlamına gelir. $P(Y=1|z) = 0.5 + 0.5 \frac{z}{1+|z|}$ .

MLE sırasında için maliyet fonksiyonu $Y=1$ şöyle olacaktır:

$J(z) = - \log (0.5 + 0.5 \frac{z}{1+|z|})$

Bu gibi görünüyor:

$z \rightarrow - \infty$

— Kilian Batzner
kaynak

"Model yanlış olduğunda" yazarken ne demek istiyorsunuz?

— Gabriel Romon

(x_{i}, y_{i})

$(x_i, y_i)$

z = 5

$z = 5$

y_{i} = 0

$y_i = 0$

6

Asıl soru, çürüyen gradyan probleminden bahsettiğinden, sadece şunu eklemek isterim ki, orta tabakalar için (aktivasyonları sınıf olasılıkları veya regresyon çıktıları olarak yorumlamanıza gerek kalmaz), diğer doğrusal olmayanlar genellikle sigmoidal fonksiyonlar üzerinde tercih edilir. En belirgin olanı pozitif alan üzerinde doğrusal ve negatif alan üzerinde sıfır olan doğrultucu fonksiyonlardır ( ReLU'larda olduğu gibi ). Avantajlarından biri, türev pozitif alan üzerinde sabit olduğu için çürüyen gradyan problemine daha az maruz kalmalarıdır. ReLU'lar artık sigmoidlerin artık de-facto standardı olarak adlandırılamadıkları için popüler hale gelmiştir.

Glorot ve diğ. (2011) . Derin seyrek doğrultucu sinir ağları

— user20160
kaynak

2

Evet. Lojistik fonksiyonun bu kadar popüler olmasının sebebinin istatistiklerden ithal edilmesinden kaynaklandığını düşünüyorum. Relu günümüzde pek çok alanda en popüler olanıdır.

— Ricardo Cruz

Neden sigmoid başka bir şey yerine çalışıyor?

DÜZENLE

Motivasyon

Neden lojistik sigmoid fonksiyonu?

Y = 1 için doygunlukY=1Y=1Y=1

Y = 0 için doygunlukY=0Y=0Y=0

Alternatifler

için doygunluk $Y=1$

için doygunluk $Y=0$