Sinir ağında çapraz entropi maliyet fonksiyonu

11

Bu eğitimde bulunan çapraz entropi maliyet fonksiyonuna bakıyorum :

C = - \frac{1}{n} \sum_{x} [y \ln a + (1 - y) \ln (1 - a)]

$C = -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)]$

Tam olarak neyi özetliyoruz? Bitti, tabii ki $x$ , ama $y$ ve $a$ değişmez $x$ . Her $x$ 's bir girdiler olan $a$ . $a$ denklemin üzerindeki paragrafta tüm $w$ 've $x$ ' toplamlarının bir fonksiyonu olarak tanımlanır .

Ayrıca, $n$ , bu belirli nörona girişlerin sayısı olarak tanımlanır, değil mi? "Eğitim verilerinin toplam öğe sayısı" olarak ifade edilir .

Düzenle:

Bunu düşünürken haklı mıyım

C = - \frac{1}{n} \sum_{x} [y \ln a + (1 - y) \ln (1 - a)]

$C= -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)]$

tüm ağ için maliyet fonksiyonu olurken,

C = [y \ln a + (1 - y) \ln (1 - a)]

$C = [y \ln a+(1−y)\ln(1−a)]$

nöronun maliyeti ne olur? Toplam her bir nöronun üzerinde olmamalı mı?

neural-networks error-propagation

— Adam12344
kaynak

14

Çapraz entropi kaybını şöyle ifade ederim :

L (X, Y) = - \frac{1}{n} \sum_{i = 1}^{n} y^{(i)} \ln a (x^{(i)}) + (1 - y^{(i)}) \ln (1 - a (x^{(i)}))

$\mathcal{L}(X, Y) = -\frac{1}{n} \sum_{i=1}^n y^{(i)} \ln a(x^{(i)}) + \left(1 - y^{(i)}\right) \ln \left(1 - a(x^{(i)})\right)$

Burada, eğitim veri kümesindeki girdi örnekleri kümesidir ve karşılık gelen etiket kümesidir bu girdi örnekleri için. sinir ağı verilen giriş çıkışını gösterir . $X = \left\{x^{(1)},\dots,x^{(n)}\right\}$ $Y=\left\{y^{(1)},\dots,y^{(n)} \right\}$ $a(x)$ $x$

Her ya da 0 ya da 1 'dir, ve aktivasyon çıkış genellikle kullanılarak, açık aralığı (0, 1) ile sınırlandırılmıştır lojistik sigmoid . Örneğin, tek katmanlı bir ağ için (lojistik regresyona eşdeğerdir), etkinleştirme $y^{(i)}$ $a(x)$ buradabir ağırlık matrisidir vebir sapma vektörüdür. Birden çok katman için etkinleştirme işlevinigibişeye genişletebilirsiniz.

a (x) = \frac{1}{1 + e^{- W x - b}}

$a(x) = \frac{1}{1 + e^{-Wx-b}}$

W

$W$

b

$b$

burada

ve

, birinci katman için ağırlık matrisi ve sapmasıdır ve

, ağdaki gizli katmanın etkinleştirilmesidir.

a (x) = \frac{1}{1 + e^{- W z (x) - b}} z (x) = \frac{1}{1 + e^{- V x - c}}

$a(x) = \frac{1}{1 + e^{-Wz(x)-b}} \\ z(x) = \frac{1}{1 + e^{-Vx-c}}$

V

$V$

c

$c$

z (x)

$z(x)$

Andrew i'nin makine öğrenimi kursunda oldukça etkili olduğunu düşündüğüm için (i) üst simge kullandım; bazen insanlar örnekleri bir matristeki sütunlar veya satırlar olarak ifade ederler, ancak fikir aynı kalır.

— lmjohns3
kaynak

Teşekkürler! Bu, bize tüm ağımızdaki tüm örneklerimiz üzerindeki hatamız için tek bir sayı verecektir. Geri yayılma için bu fonksiyonun kısmi türevini son katmandaki ağırlık matrisine göre bulmam gerekiyor. Bunu nasıl yaparım?

— Adam12344

Backprop yapmak tamamen ayrı bir solucan konservesi! Bağlantı verdiğiniz sayfanın bilgi işlem türevleri vb. Bir açıklaması vardır ve stackoverflow ve bu site hakkında backprop hakkında birçok soru vardır. Biraz etrafa bakmayı ve ardından özellikle backprop hakkında ayrı bir soru göndermeyi deneyin.

— lmjohns3

Bu, backprop'u anlamak için yararlı olabilir, kanlı ayrıntıda çapraz entropi kaybına sahip dört katmanlı bir sinir ağına sahiptir :) cookedsashimi.wordpress.com/2017/05/06/…

— YellowPillow

5

Tam olarak neyi özetliyoruz?

Öğretici aslında oldukça açık:

$n$

$x$ $\Sigma$ $a$

a = \sum_{j} w_{j} x_{j} .

$a = \sum_{j} w_jx_j.$

Daha sonra aynı öğreticide, çok katmanlı, çok nöronlu bir ağ için maliyet işlevi için bir ifade verir (Denk. 63):

C = - \frac{1}{n} \sum_{x} \sum_{j} [y_{j} \ln a_{j}^{L} + (1 - y_{j}) \ln (1 - a_{j}^{L})] .

$C = -\frac{1}{n}\sum_{x}\sum_{j}[ y_j \ln a^{L}_{j} + (1 - y_j) \ln (1 - a^{L}_{j})].$

$x$ $j$

— ali_m
kaynak

İçgörü için teşekkürler, bir soru: tanımladığınız ikincisi kategorik çapraz entropi değil, değil mi?

— Tommaso Guerrini

Ayrıca eğitiminde "y bazen 0 ile 1 arasında ara değerler alabilir" dedi ancak verdiği işlevin hepsi y üzerinde ve aktivasyon girişi yoktu. St fonksiyonunda ara değerleri nasıl uygulayabiliriz?

— Feras

Nielsen'in tek katmanlı algıyı gösteren öğreticisinde, a = \ sigma (\ sum_ {j} w_j x_j) çünkü çıkış katmanınız için sigmoid etkinleştirme işleviniz var, a = \ sum_ {j} w_j x_j

— ARAT