Çıktı katmanında Çapraz Entropi veya Kütük Olasılığı

Bu sayfayı okudum: http://neuralnetworksanddeeplearning.com/chap3.html

ve çapraz entropili sigmoid çıkış katmanının log-olasılıklı softmax çıkış katmanına oldukça benzer olduğunu söyledi.

log katsayılı sigmoid veya çıktı katmanında çapraz entropi ile softmax kullanırsam ne olur? iyi mi? çünkü çapraz entropi arasındaki denklemde sadece küçük bir fark olduğunu görüyorum (eq.57):

C = - \frac{1}{n} \sum_{x} (y \ln a + (1 - y) \ln (1 - a))

$C = -\frac{1}{n} \sum\limits_x (y \ln a + (1-y) \ln (1-a))$

ve log olasılığı (eşd. 80):

C = - \frac{1}{n} \sum_{x} (\ln a_{y}^{L})

$C =-\frac{1}{n} \sum\limits_x(\ln a^L_y)$

neural-networks maximum-likelihood softmax

— Malioboro
kaynak

Negatif kütle olasılığı (eşd. 80) aynı zamanda iki farklı formülde olduğu gibi çok sınıflı çapraz entropi (ref: Örüntü Tanıma ve Makine Öğrenimi Bölüm 4.3.4) olarak da bilinir.

eq.57, Bernoulli dağılımının negatif kütük olasılığını gösterirken, eq.80, bir gözlemle (Bernoulli'nin çok sınıflı bir versiyonuyla) multinom dağılımının negatif kütük olasılığıdır.

İkili sınıflandırma problemleri için softmax fonksiyonu her sınıfın tahminini vermek için iki değer (0 ile 1 arasında ve toplamı 1'e kadar) verir. Sigmoid işlevi bir sınıfın (yani diğer sınıfın 1-p olduğu) tahminini vermek için bir değeri (0 ile 1 arasında) verir.

Bu nedenle eq.80, esas olarak eq.57 ile aynı kayıp olmasına rağmen, sigmoid çıktısına doğrudan uygulanamaz.

Ayrıca bu cevaba bakınız .

Aşağıda, ikili sınıflandırma problemleri için (sigmoid + ikili çapraz entropi) ve (softmax + çoklu sınıf çapraz entropi) arasındaki bağlantının basit bir örneği verilmiştir.

$0.5$

σ (w x + b) = 0.5

$\sigma(wx+b)=0.5$

w x + b = 0

$wx+b=0$

\frac{e^{w_{1} x + b_{1}}}{e^{w_{1} x + b_{1}} + e^{w_{2} x + b_{2}}} = 0.5

$\frac{e^{w_1x+b_1}}{e^{w_1x+b_1}+e^{w_2x+b_2}}=0.5$

e^{w_{1} x + b_{1}} = e^{w_{2} x + b_{2}}

$e^{w_1x+b_1}=e^{w_2x+b_2}$

w_{1} x + b_{1} = w_{2} x + b_{2}

$w_1x+b_1=w_2x+b_2$

(w_{1} - w_{2}) x + (b_{1} - b_{2}) = 0

$(w_1-w_2)x+(b_1-b_2)=0$

Aşağıdakiler, tezler kullanılarak elde edilen karar sınırlarını neredeyse aynı olan iki yöntemle göstermektedir.

— dontloo
kaynak

Hangi denklemleri kastediyorsunuz? Kitapta, denklemler farklı numaralandırılmıştır. Belki kitabın belirli bir baskısıdır? Bunu açıklayabilir misin? Users.isr.ist.utl.pt/~wurmd/Livros/school/… , sayfa 209 (sayfa 4.3.4) adresindeki kitaba bakıyorum .

— nbro

@ nbro ah karışıklık için üzgünüm, ben soruda verilen bağlantılı sayfadaki denklemleri kastettim.

— dontloo