Çapraz entropi kaybı fonksiyonunun farklı tanımları

12

Nöral ağlar ve derin öğrenme noktaları com öğretici ile sinir ağlarını öğrenmeye başladım. Özellikle 3. bölümde çapraz entropi fonksiyonu hakkında bir bölüm vardır ve çapraz entropi kaybını şu şekilde tanımlar:

$C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j + (1-y_j) \ln (1 - a^L_j))$

Bununla birlikte, Tensorflow girişini okurken, çapraz entropi kaybı şöyle tanımlanır:

$C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j)$ (yukarıdakiyle aynı sembolleri kullanırken)

Sonra neler olup bittiğini bulmak için arama yaparken başka bir not kümesi buldum: ( https://cs231n.github.io/linear-classify/#softmax-classifier ) çapraz entropi kaybının tamamen farklı bir tanımını kullanan bu sinir ağı yerine softmax sınıflandırıcısının zamanı.

Birisi bana burada neler olduğunu açıklayabilir mi? Neden btw tutarsızlıkları var? çapraz entropi kaybını ne tanımlar? Sadece kapsayıcı bir prensip var mı?

— Reginald
kaynak

Yakından ilgili: stats.stackexchange.com/questions/260505/…

— Sycorax,

18

Bu üç tanım aslında aynıdır.

1) Tensorflow tanıtımı ,

C = - \frac{1}{n} \sum_{x} \sum_{j} (y_{j} \ln a_{j}) .

$C = -\frac{1}{n} \sum\limits_x\sum\limits_{j} (y_j \ln a_j).$

2) ikili sınıflandırmaları için, ve ve , 3. bölümdeki ile aynı olan olarak yeniden yazılabilir . . $j=2$

C = - \frac{1}{n} \sum_{x} (y_{1} \ln a_{1} + y_{2} \ln a_{2})

$C = -\frac{1}{n} \sum\limits_x (y_1 \ln a_1 + y_2 \ln a_2)$

\sum_{j} a_{j} = 1

$\sum_ja_j=1$

\sum_{j} y_{j} = 1

$\sum_jy_j=1$

C = - \frac{1}{n} \sum_{x} (y_{1} \ln a_{1} + (1 - y_{1}) \ln (1 - a_{1}))

$C = -\frac{1}{n} \sum\limits_x (y_1 \ln a_1 + (1-y_1) \ln (1-a_1))$

3) Dahası, , tek sıfırdan oluşan bir vektör ise (genellikle sınıflandırma etiketleri için de geçerlidir) ve yalnızca sıfır olmayan , karşılık gelen örneğin çapraz entropi kaybı $y$ $y_k$

C_{x} = - \sum_{j} (y_{j} \ln a_{j}) = - (0 + 0 + . . . + y_{k} \ln a_{k}) = - \ln a_{k} .

$C_x=-\sum\limits_{j} (y_j \ln a_j)=-(0+0+...+y_k\ln a_k)=-\ln a_k.$

Gelen cs231 notlar , bir numunenin çapraz entropi kaybı olarak SoftMax normalleştirme ile birlikte verilir

C_{x} = - \ln (a_{k}) = - \ln (\frac{e^{f_{k}}}{\sum_{j} e^{f_{j}}}) .

$C_x=-\ln(a_k)=-\ln\left(\frac{e^{f_k}}{\sum_je^{f_j}}\right).$

— dontloo
kaynak

0

Olarak , üçüncü bölümde , denklem (63), birden çok sigmoidleri uygulanan çapraz entropi (yani 1 toplamı değil) ise bir giriş Tensoflow çapraz entropi bir SoftMax çıkış tabakası üzerinde hesaplanır.

Dontloo tarafından açıklandığı gibi, her iki formül de iki sınıf için eşdeğerdir, ancak ikiden fazla sınıf dikkate alındığında değildir. Softmax, özel sınıflara sahip çoklu sınıflar için anlamlıdır ( örn. , Örnek başına yalnızca bir etiket olduğunda, etiketlerin bir kez sıcak kodlanmasına izin veren), çok etiketli bir sorunu (yani muhtemelen pozitif olan örneklerle) tanımlamak için kullanılabilir (çoklu) sigmoidler birkaç sınıf için).

Diğer dontloo cevaplarını da görün .

— xiawi
kaynak