Yapay sinir ağlarında kullanılan maliyet fonksiyonlarının uygulamalarla birlikte listesi

133

Yapay sinir ağlarının performansını değerlendirmede kullanılan yaygın maliyet fonksiyonları nelerdir?

ayrıntılar

(bu sorunun geri kalanını atlamaktan çekinmeyin, burada niyetim, cevapların genel okuyucu için daha anlaşılır olmalarına yardımcı olmak için kullanabilecekleri gösterime açıklık getirmektir.)

Uygulamada kullanıldıkları birkaç yolun yanı sıra, ortak maliyet fonksiyonlarının bir listesine sahip olmanın faydalı olacağını düşünüyorum. Bu yüzden eğer diğerleri buna ilgi duyuyorsa bence bir topluluk wiki muhtemelen en iyi yaklaşımdır, ya da konu dışıysa onu kaldırabiliriz.

Gösterim

Bu yüzden başlamak için, bunları tarif ederken hepimizin kullandığı bir gösterimi tanımlamak istiyorum, bu yüzden cevaplar birbirleriyle iyi uyuşuyor.

Bu gösterim Neilsen'in kitabından .

Feedforward Sinir Ağı, birbirine bağlı birçok nöron tabakasıdır. Sonra bir girdi alır, bu girdi ağ üzerinden "kandırır" ve sonra sinir ağı bir çıkış vektörü döndürür.

Daha teorik çağrı ait (çıkış olarak da bilinir) aktive nöron tabaka, olan giriş vektörü öğesi. $a^i_j$ $j^{th}$ $i^{th}$ $a^1_j$ $j^{th}$

Sonra bir sonraki katmanın girişini önceki ilişkiyle aşağıdaki ilişki yoluyla ilişkilendirebiliriz:

$a^i_j = \sigma(\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j)$

nerede

$\sigma$ aktivasyon işlevidir,

$w^i_{jk}$ gelen ağırlıktır nöron için katman nöron tabaka, $k^{th}$ $(i-1)^{th}$ $j^{th}$ $i^{th}$

$b^i_j$ , katmanındaki nöronunun önyargısıdır ve $j^{th}$ $i^{th}$

$a^i_j$ , katmanındaki aktivasyon değerini temsil eder . $j^{th}$ $i^th$

Bazen geç temsil etmek diğer bir deyişle, bir nöronun aktivasyon değeri aktivasyon fonksiyonunu uygulamadan önce . $z^i_j$ $\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j$

görüntü tanımını buraya girin

Kısa özlü gösterim için yazabiliriz

$a^i = \sigma(w^i \times a^{i-1} + b^i)$

Bu formülü, girişindeki bazı girdiler için feedforward ağının çıkışını hesaplamak için , , ardından , , ..., hesaplayın. m burada katman sayısıdır. $I \in \mathbb{R}^n$ $a^1 = I$ $a^2$ $a^3$ $a^m$

Giriş

Bir maliyet işlevi, bir sinir ağının, verilen eğitim numunesi ve beklenen çıktıya göre ne kadar iyi yaptığının bir ölçüsüdür. Ayrıca ağırlık ve önyargı gibi değişkenlere de bağlı olabilir.

Bir maliyet fonksiyonu, bir vektör değil tek bir değerdir, çünkü sinir ağının bir bütün olarak ne kadar iyi yaptığını değerlendirir.

Özellikle, bir maliyet işlevi biçimindedir

C (W, B, S^{r}, E^{r})

$C(W, B, S^r, E^r)$

burada bizim YSAnın ağırlıkları olan, , bizim YSAnın bias olan , tek bir eğitim numune giriş ve bu eğitim numunenin istenen çıkışıdır. Bu fonksiyonun potansiyel olarak , katmanındaki herhangi bir nöron için ve de bağlı olabileceğini unutmayın , çünkü bu değerler , ve . $W$ $B$ $S^r$ $E^r$ $y^i_j$ $z^i_j$ $j$ $i$ $W$ $B$ $S^r$

Geriye yayılımda, maliyet fonksiyonu çıkış katmanımızın ( , $\delta^L$

δ_{j}^{L} = \frac{\partial C}{\partial a_{j}^{L}} σ^{'} (z_{j}^{i})

$\delta^L_j = \frac{\partial C}{\partial a^L_j} \sigma^{ \prime}(z^i_j)$ .

Ayrıca bir vektör olarak da yazılabilir.

δ^{L} = \nabla_{a} C ⊙ σ^{'} (z^{i})

$\delta^L = \nabla_a C \odot \sigma^{ \prime}(z^i)$ .

Maliyet fonksiyonlarının gradyanını ikinci denklem açısından sağlayacağız, ancak bu sonuçları kendileri kanıtlamak istiyorsa, çalışılması daha kolay olduğu için ilk denklemin kullanılması önerilir.

Maliyet fonksiyonu gereksinimleri

Geri yayılımda kullanılmak için, bir maliyet işlevi iki özelliği sağlamalıdır:

1: Maliyet fonksiyonu ortalama olarak yazılabilmelidir $C$

C = \frac{1}{n} \sum_{x} C_{x}

$C=\frac{1}{n} \sum\limits_x C_x$

Bireysel eğitim örnekleri için aşırı maliyet fonksiyonları , . $C_x$ $x$

Bu, tek bir eğitim örneği için gradyanı (ağırlıklar ve önyargılara göre) hesaplamamızı ve Gradient İniş'i çalıştırmamızı sağlar.

2: Maliyet fonksiyonu , sinir ağının aktivasyon değerlerine, çıkış değerlerine bağlı olmamalıdır . $C$ $a^L$

Teknik olarak bir maliyet işlevi herhangi veya . Sadece bu kısıtlamayı yapıyoruz, böylece geri yaylayabiliyoruz, çünkü son katmanın gradyanını bulma denklemi, maliyet işlevine bağlı olan tek şeydir (gerisi bir sonraki katmana bağlıdır). Maliyet işlevi, çıktının yanı sıra diğer aktivasyon katmanlarına bağlıysa, geri yayılma fikri artık çalışmadığı için geri yayılma geçersiz olacaktır. $a^i_j$ $z^i_j$

Ayrıca, aktivasyon fonksiyonları tüm için çıkışına sahip olmalıdır . Bu nedenle, bu maliyet işlevlerinin yalnızca bu aralıkta tanımlanması gerekir (örneğin, geçerlidir çünkü garanti edilir ). $0\leq a^L_j \leq 1$ $j$ $\sqrt{a^L_j}$ $a^L_j \geq 0$

machine-learning neural-networks

— Phylliida
kaynak

Bu bir soru-cevap sitesidir ve bu yazının biçimi tam olarak buna uymuyor. Muhtemelen içeriğin çoğunluğunu bir cevaba koymalı ve sadece bir soru bırakmalısınız (örn. NN'lerde kullanılan maliyet fonksiyonlarının listesi nedir?).

— Roger Fan

Tamam, bu daha iyi mi? Tanımların önemli olduğunu düşünüyorum aksi takdirde yazarın kullandığı terminolojiye aşina olmayanlar için cevaplar belirsizleşir.

— Phylliida

Ancak, farklı bir cevap farklı gösterim veya terminoloji kullanıyorsa ne olur?

— Roger Fan

Buradaki düşünce, burada herkesin aynı terminolojiyi kullanması ve farklı olması durumunda buna dönüştürmemiz, bu yüzden cevapların birbiriyle "uyması". Ama sanırım yardımcı olmadığını düşünürseniz bu parçayı çıkarabilirim.

— Phylliida

Sadece sorunun girdiği detayın gerçekten gerekli veya konuyla alakalı olmadığını düşünüyorum. Biraz aşırı ve sınırlayıcı görünüyor, ama bu sadece benim.

— Roger Fan

Yanıtlar:

İşte şimdiye kadar anladığımlar. Bunların çoğu, 0 ile 1 arasında değerler verildiğinde en iyi sonucu verir.

Kuadratik maliyet

Ortalama kare hata , maksimum olabilirlik ve toplam kare hatası olarak da bilinir , bu şöyle tanımlanır:

C_{M S T} (W, B, S^{r}, E^{r}) = 0.5 \sum_{j} (a_{j}^{L} - E_{j}^{r})^{2}

$C_{MST}(W, B, S^r, E^r) = 0.5\sum\limits_j (a^L_j - E^r_j)^2$

Bir sinir ağının çıkışı ve bir örnek ile ilgili olarak, bu amaç fonksiyonunun gradyan olduğu: $r$

\nabla_{a} C_{M S T} = (a^{L} - E^{r})

$\nabla_a C_{MST} = (a^L - E^r)$

Çapraz entropi maliyeti

Bernoulli negatif log-olabilirliği ve İkili Çapraz Entropi olarak da bilinir

C_{C E} (W, B, S^{r}, E^{r}) = - \sum_{j} [E_{j}^{r} ln a_{j}^{L} + (1 - E_{j}^{r}) ln (1 - a_{j}^{L})]

$C_{CE}(W, B, S^r, E^r) = -\sum\limits_j [E^r_j \text{ ln } a^L_j + (1 - E^r_j) \text{ ln }(1-a^L_j)]$

Bir sinir ağının çıkışı ve bir örnek ile ilgili olarak, bu amaç fonksiyonunun gradyan olduğu: $r$

\nabla_{a} C_{C E} = \frac{(a^{L} - E^{r})}{(1 - a^{L}) (a^{L})}

$\nabla_a C_{CE} = \frac{(a^L - E^r)}{(1-a^L)(a^L)}$

Üstel maliyet

Bu, bazı parametre seçimi gerektirir size istediğiniz davranışı verecektir düşünüyorum. Genelde, işler iyi çalışana kadar bununla oynamanız gerekir. $\tau$

C_{E X P} (W, B, S^{r}, E^{r}) = τ \exp (\frac{1}{τ} \sum_{j} (a_{j}^{L} - E_{j}^{r})^{2})

$C_{EXP}(W, B, S^r, E^r) = \tau\text{ }\exp(\frac{1}{\tau} \sum\limits_j (a^L_j - E^r_j)^2)$

buradaki , için kısaca . $\text{exp}(x)$ $e^x$

Bir sinir ağının çıkışı ve bir örnek ile ilgili olarak, bu amaç fonksiyonunun gradyan olduğu: $r$

\nabla_{a} C = \frac{2}{τ} (a^{L} - E^{r}) C_{E X P} (W, B, S^{r}, E^{r})

$\nabla_a C = \frac{2}{\tau}(a^L- E^r)C_{EXP}(W, B, S^r, E^r)$

yeniden yazabilirim ama bu gereksiz görünüyor. Nokta, gradyan bir vektörü hesaplar ve sonra onu çarpar . $C_{EXP}$ $C_{EXP}$

Hellinger mesafesi

C_{H D} (W, B, S^{r}, E^{r}) = \frac{1}{\sqrt{2}} \sum_{j} (\sqrt{a_{j}^{L}} - \sqrt{E_{j}^{r}})^{2}

$C_{HD}(W, B, S^r, E^r) = \frac{1}{\sqrt{2}}\sum\limits_j(\sqrt{a^L_j}-\sqrt{E^r_j})^2$

Bununla ilgili daha fazla bilgiyi burada bulabilirsiniz . Bunun pozitif değerlere ve ideal olarak ile arasındaki değerlere sahip olması gerekir . Aynısı aşağıdaki sapmalar için de geçerlidir. $0$ $1$

Bir sinir ağının çıkışı ve bir örnek ile ilgili olarak, bu amaç fonksiyonunun gradyan olduğu: $r$

\nabla_{a} C = \frac{\sqrt{a^{L}} - \sqrt{E^{r}}}{\sqrt{2} \sqrt{a^{L}}}

$\nabla_a C = \frac{\sqrt{a^L}-\sqrt{E^r}}{\sqrt{2}\sqrt{a^L}}$

Kullback – Leibler ayrışması

Bilgi Farklılığı , Bilgi Kazancı , Bağıl entropi , KLIC veya KL Farklılığı olarak da bilinir ( Buraya bakın ).

Kullback – Leibler sapması tipik olarak ,

D_{K L} (P ‖ Q) = \sum_{i} P (i) \ln \frac{P (i)}{Q (i)}

$D_{\mathrm{KL}}(P\|Q) = \sum_i P(i) \, \ln\frac{P(i)}{Q(i)}$

buradaki , yaklaşık kullanıldığında kaybedilen bilgilerin bir ölçüsüdür . Böylece ve yi ayarlamak istiyoruz , çünkü yaklaşık olarak için kullandığımızda ne kadar bilginin kaybedildiğini ölçmek istiyoruz . Bu bize verir $D_{\mathrm{KL}}(P\|Q)$ $Q$ $P$ $P=E^i$ $Q=a^L$ $a^i_j$ $E^i_j$

C_{K L} (W, B, S^{r}, E^{r}) = \sum_{j} E_{j}^{r} \log \frac{E_{j}^{r}}{a_{j}^{L}}

$C_{KL}(W, B, S^r, E^r)=\sum\limits_jE^r_j \log \frac{E^r_j}{a^L_j}$

Buradaki diğer sapmalar aynı ve ayarlarının aynısını kullanır . $P=E^i$ $Q=a^L$

Bir sinir ağının çıkışı ve bir örnek ile ilgili olarak, bu amaç fonksiyonunun gradyan olduğu: $r$

\nabla_{a} C = - \frac{E^{r}}{a^{L}}

$\nabla_a C = -\frac{E^r}{a^L}$

Genelleştirilmiş Kullback – Leibler ayrışması

Gönderen burada .

C_{G K L} (W, B, S^{r}, E^{r}) = \sum_{j} E_{j}^{r} \log \frac{E_{j}^{r}}{a_{j}^{L}} - \sum_{j} (E_{j}^{r}) + \sum_{j} (a_{j}^{L})

$C_{GKL}(W, B, S^r, E^r)=\sum\limits_j E^r_j \log \frac{E^r_j}{a^L_j} -\sum\limits_j(E^r_j) + \sum\limits_j(a^L_j)$

Bir sinir ağının çıkışı ve bir örnek ile ilgili olarak, bu amaç fonksiyonunun gradyan olduğu: $r$

\nabla_{a} C = \frac{a^{L} - E^{r}}{a^{L}}

$\nabla_a C = \frac{a^L-E^r}{a^L}$

Itakura – Saito mesafesi

Ayrıca buradan .

C_{G K L} (W, B, S^{r}, E^{r}) = \sum_{j} (\frac{E_{j}^{r}}{a_{j}^{L}} - \log \frac{E_{j}^{r}}{a_{j}^{L}} - 1)

$C_{GKL}(W, B, S^r, E^r)= \sum_j \left(\frac {E^r_j}{a^L_j} - \log \frac{E^r_j}{a^L_j} - 1 \right)$

Bir sinir ağının çıkışı ve bir örnek ile ilgili olarak, bu amaç fonksiyonunun gradyan olduğu: $r$

\nabla_{a} C = \frac{a^{L} - E^{r}}{{(a^{L})}^{2}}

$\nabla_a C = \frac{a^L-E^r}{\left(a^L\right)^2}$

Burada . Başka bir deyişle, , yalnızca öğesinin karesini almakla eşittir . $\left(\left(a^L\right)^2\right)_j = a^L_j \cdot a^L_j$ $\left( a^L\right) ^2$ $a^L$

— Phylliida
kaynak

: Paylaşım için teşekkürler, ayrıca bu düşünebiliriz github.com/torch/nn/blob/master/doc/criterion.md

— Yannis Assael

Çapraz entropi türevi paydasındaki ufak bir hata var olması gerektiği a*(1-a)değila*(1+a)

— Amro

Ortalama hata yerine hata miktarını en aza indirgemek için langırt kaybı işlevini göstermek havalı olacaktır. Karar destek sistemlerinde çok kullanılır.

— Ricardo Cruz

Bunlar için grafikleri nerede görebilirim?

— coiso

Kuadratik Maliyet Fonksiyonu ile ilgili olarak, "ortalama kare hatası" "maksimum olabilirlik" "toplam kare hatası" olduğunu not etmelisiniz . Yazarlar (yanlış) ismini birbirlerinin yerine kullanabilirler, fakat aynı şeyler değillerdir .

\neq

$\neq$

\neq

$\neq$

— Jon

Yorum yapacak bir şöhrete sahip değilsiniz, ancak son 3 degradede işaret hataları var.

KL ayrışmasında, Bu Genelleştirilmiş KL ayrışmasında da aynı işaret hatası görünüyor.

\begin{aligned} C & = \sum_{j} E_{j} \log (E_{j} / a_{j}) \\ = \sum_{j} E_{j} \log (E_{j}) - E_{j} \log (a_{j}) \\ d C & = - \sum_{j} E_{j} d \log (a_{j}) \\ = - \sum_{j} (E_{j} / a_{j}) d a_{j} \\ \nabla_{a} C & = \frac{- E}{a} \end{aligned}

$\eqalign{ C &= \sum_j E_j\log(E_j/a_j) \cr &= \sum_j E_j\log(E_j) - E_j\log(a_j) \cr\cr dC &= -\sum_j E_j\,\,d\log(a_j) \cr &= -\sum_j (E_j/a_j)\,da_j \cr\cr \nabla_a C &= \frac{-E}{a} \cr\cr }$

Itakura-Saito mesafesinde,

\begin{aligned} C & = \sum_{j} (E_{j} / a_{j}) - \log (E_{j} / a_{j}) - 1 \\ = \sum_{j} (E_{j} / a_{j}) - \log (E_{j}) + \log (a_{j}) - 1 \\ d C & = \sum_{j} (- E_{j} / a_{j}^{2}) d a_{j} + d \log (a_{j}) \\ = \sum_{j} (1 / a_{j}) d a_{j} - (E_{j} / a_{j}^{2}) d a_{j} \\ = \sum_{j} (a_{j} - E_{j}) / a_{j}^{2} d a_{j} \\ \nabla_{a} C & = \frac{a - E}{(a)^{2}} \end{aligned}

$\eqalign{ C &= \sum_j (E_j/a_j) - \log(E_j/a_j) - 1 \cr &= \sum_j (E_j/a_j) - \log(E_j) + \log(a_j) -1 \cr\cr dC &= \sum_j (-E_j/a^2_j)\,da_j + d\log(a_j) \cr &= \sum_j (1/a_j)\,da_j - (E_j/a^2_j)\,da_j \cr &= \sum_j (a_j-E_j)/a^2_j\,\,\,da_j \cr\cr \nabla_a C &= \frac{a-E}{(a)^2} \cr }$

— dürüst
kaynak