Multinomial Lojistik Kayıplar vs (Çapraz Entropi ve Kare Hata)

Caffe'nin (derin öğrenme çerçevesi) model örneklerinin çoğu için Softmax Kayıp Katmanını SoftmaxWithLoss çıktı katmanı olarak kullandığını gözlemledim .

Bildiğim kadarıyla Softmax Loss katmanı , Multinomial Logistic Loss Layer ve Softmax Layer kombinasyonudur .

Caffe'den,

Softmax Kaybı Katmanı gradyan hesaplaması daha sayısal olarak kararlıdır

Ancak, bu açıklama istediğim cevap değil, açıklama sadece katman katman yerine Multinomial Lojistik Kayıp Katmanı ve Softmax Kaybı katmanın kombinasyonunu karşılaştırıyor . Ancak diğer kayıp fonksiyonu ile karşılaştırılmamalıdır.

Bununla birlikte, denetimli öğrenme perspektifinde Multinomial Lojistik Kayıp , Çapraz Entropi (CE) ve Kare Hatası (SE) olan bu 3 hata fonksiyonunun farkları / avantajları / dezavantajları nedir daha fazla bilmek istiyorum ? Destekleyici makaleler var mı?

— karfai
kaynak

Sadece bir ipucu: Sanırım sorularınıza "caffe" etiketini eklerseniz daha hızlı bir cevap alacaksınız. Ayrıca stackexchange yerine stackoverflow üzerine göndermek daha fazla dikkat verebilir).

— mcExchange

Kombinasyon, degradenin hesaplanmasını kolaylaştırır y-t. willamette.edu/~gorr/classes/cs449/classify.html

— Jingpeng Wu

Yanıtlar:

Bence kayıp fonksiyonu, sinir ağlarımızın ağırlıklarını buna göre optimize etmelerini istediğimiz objektif bir işlevdir. Bu nedenle, göreve özgüdür ve bir şekilde ampiriktir. Açık olmak gerekirse , Multinomial Lojistik Kayıp ve Çapraz Entropi Kaybı aynıdır (lütfen http://ufldl.stanford.edu/wiki/index.php/Softmax_Regression adresine bakın ). Multinomial Logistic Loss'in maliyet fonksiyonu şöyledir $J(\theta) = -\frac{1}{m} \left[ \sum_{i=1}^m y^{(i)} \log h_\theta(x^{(i)}) + (1-y^{(i)}) \log (1-h_\theta(x^{(i)})) \right].$

Genellikle sınıflandırma problemi için kullanılır. Hata Kare gibi denklemini $\frac 1 {2N} \sum_{i=1}^N \| x^1_i - x^2_i \|_2^2.$

Bu nedenle, genellikle bazı inşaat hatalarını kullanarak en aza indirmek için kullanılır.

DÜZENLEME: @MartinThoma Yukarıdaki multinomiyal lojistik kaybı formülü sadece ikili durum içindir, genel durum için , burada K kategori sayısıdır. $J(\theta) = -\left[ \sum_{i=1}^{m} \sum_{k=1}^{K} 1\left\{y^{(i)} = k\right\} \log P(y^{(i)} = k | x^{(i)} ; \theta) \right]$

— beahacker
kaynak

Caffe olarak, MultinomialLogisticLoss olan , bu yüzden kim yanlış burada?

\frac{- 1}{N} \sum_{n = 1}^{N} \log (p_{n, l_{n}})

$\frac{-1}{N}\sum_{n=1}^{N}\log(p_{n,l_n})$

— moi

Yanlış değil, ikili değişkenlerdir, sonunda formülasyonunuza indirgenebilir.

y^{i}

$y^i$

— beahacker

Multinomail lojistik kaybının ikinci özet olmadan olduğunu düşündüm, bu yüzden

J (θ) = - \frac{1}{m} [\sum_{i = 1}^{m} y^{(i)} \log h_{θ} (x^{(i)})]

$J(\theta) = - \frac{1}{m} [\sum_{i=1}^m y^{(i)} \log h_\theta(x^{(i)})]$

— Martin Thoma

@MartinThoma Formülüm sadece ikili durum içindir, genel durum için

J (θ) = - [\sum_{i = 1}^{m} \sum_{k = 1}^{K} 1 {y^{(i)} = k} \log P (y^{(i)} = k | x^{(i)}; θ)]

$J(\theta) = -\left[ \sum_{i=1}^{m} \sum_{k=1}^{K} 1\left\{y^{(i)} = k\right\} \log P(y^{(i)} = k | x^{(i)} ; \theta) \right]$

— beahacker

@beahacker Bana ikinci topluluğun neden Martin Thoma'nın işaret ettiği gibi multinominal duruma dahil olmadığını söyleyebilir misiniz? Neden böyle yapıldığını anlamaya çalışıyorum. En azından beni araştırılacak bir kaynağa yönlendirebilir misin?

— Nandeesh

Denetimli öğrenme perspektifinde Multinomial Lojistik Kayıp, Çapraz Entropi (CE) ve Kare Hatası (SE) olan bu 3 hata fonksiyonunun farkları / avantajları / dezavantajları nedir daha fazla bilmek istiyorum?

Multinomiyal lojistik kayıp, çapraz olarak entropi ile aynıdır. Bu işleve bakın ( softmax'ta maliyet fonksiyonu ): burada m örnek sayı, K sınıf numarasıdır.

J (θ) = - \sum_{i = 1}^{m} \sum_{k = 1}^{K} 1 {y^{(i)} = k} \log p (y^{(i)} = k ∣ x^{(i)}; θ)

$J( \theta ) = - \sum^m_{i=1} \sum^K_{k=1} 1 \{ y^{(i)} = k \} \log p(y^{(i)} = k \mid x^{(i)} ; \theta)$

Gösterge fonksiyonu ( ) , çapraz entropi tanımında körüğünün 0 veya 1 olup olmadığını belirler , bu antrenman verilerinde sıcak olarak etiketlenir ve , softmax'ın (q (x) aşağıda gösterildiği gibi) koşullu olasılığıdır. $1 \{ y^{(i)} = k \}$ $p(x)$ $p(y^{(i)} = k \mid x^{(i)} ; \theta)$

- \sum_{x} p (x) \log q (x)

$-\sum_x p(x) \log q(x)$

Ve MSE çoğunlukla bağlantı fonksiyonunun birlik fonksiyonu (yanıt dağılımı normal bir dağılımı takip eder), standart lineer regresyon, çapraz entropi normalde link fonksiyonunun logit fonksiyonu olduğu durum içindir. İşte size başvurabileceğiniz harika bir karşılaştırma .

Destekleyici makaleler var mı?

Bağlantılardaki olanlar dışında, bunu gösteren bir tane önerin : https://github.com/rasbt/python-machine-learning-book/blob/master/faq/softmax_regression.md

— Lerner Zhang
kaynak

Bir (ikili) sınıflandırıcıya uygulanan MSE'ye Brier skoru denir.

— Dave

KISA CEVAP Diğer cevaplara göre Multinomial Lojistik Kayıp ve Çapraz Entropi Kaybı aynıdır.

Çapraz Entropi Kaybı, güncelleme denklemlerindeki sigma'ya bağımlılığı ortadan kaldırmak için yapay olarak tanıtılan sigmoid aktivasyon fonksiyonu ile NN için alternatif bir maliyet fonksiyonudur . Bazen bu terim öğrenme sürecini yavaşlatır. Alternatif yöntemler düzenli maliyet fonksiyonudur. $\sigma'$

Bu tür ağlarda, çıkış olarak olasılıklar bulunabilir, ancak bu çok-multimedya ağındaki sigmoidlerde olmaz. Softmax işlevi çıkışları normalleştirir ve onları aralığında zorlar . Bu, örneğin MNIST sınıflandırmasında faydalı olabilir. $[0,1]$

BAZI ÖLÇÜLERLE UZUN CEVAP

Cevap oldukça uzun ama özetlemeye çalışacağım.

Kullanılan ilk modern yapay nöronlar, işlevi olan sigmoidlerdir:

σ (x) = \frac{1}{1 + e^{- x}}

$\sigma(x) = \frac{1}{1+e^{-x}}$ Aşağıdaki şekle sahip :

Eğri güzeldir, çünkü çıktının aralığında olmasını garanti eder . $[0,1]$

Bir maliyet fonksiyonunun seçimi ile ilgili olarak, doğal bir seçim, türevi garanti edilen kuadratik maliyet fonksiyonudur ve bunun minimum olduğunu biliyoruz.

Şimdi ikinci dereceden maliyet fonksiyonu ile eğitilmiş sigmoidleri olan ve katmanları olan bir NN düşünün . $L$

Maliyet fonksiyonunu, bir dizi girişi için çıktı katmanındaki kare hatalarının toplamı olarak tanımlarız : $X$

C = \frac{1}{2 N} \sum_{x}^{N} \sum_{j = 1}^{K} (y_{j} (x) - a_{j}^{L} (x))^{2}

$C = \frac{1}{2N}\sum_x^N\sum_{j=1}^K (y_j(x) - a_j^L(x))^2$

burada , çıktı katmanı deki j-th nöron , istenen çıktı ve , eğitim örneği sayısıdır. $a_j^L$ $L$ $y_j$ $N$

Basit olması için tek bir girişin hatasını düşünelim:

C = \sum_{j = 1}^{K} (y_{j} (x) - a_{j}^{L} (x))^{2}

$C = \sum_{j=1}^K (y_j(x) - a_j^L(x))^2$

Şimdi katmanındaki nöron için aktivasyon çıkışı : $j$ $\ell$ $a_j^\ell$

a_{j}^{ℓ} = \sum_{k} w_{j k}^{ℓ} \cdot a_{j}^{ℓ - 1} + b_{j}^{ℓ} = w_{j}^{ℓ} \cdot a_{j}^{ℓ - 1} + b_{j}^{ℓ}

$a_j^\ell = \sum_k w_{jk}^\ell \cdot a_j^{\ell-1}+b_j^\ell = \mathbf{w}_{j}^\ell \cdot \mathbf{a}_j^{\ell-1}+b_j^\ell$

Çoğu zaman (her zaman olmasa da) NN, temelde ve ağırlıklarının minimizasyon yönüne doğru küçük adımlarla güncellenmesini içeren gradyan iniş tekniklerinden biri ile eğitilir . Amaç, ağırlık işlevini en aza indiren yöne doğru ağırlık ve sapmalarda küçük bir değişiklik uygulamaktır. $w$ $b$

Küçük adımlar için aşağıdakiler geçerlidir:

Δ C \approx \frac{\partial C}{\partial v_{i}} Δ v_{i}

$\Delta C \approx \frac{\partial C}{\partial v_i}\Delta v_i$

Bizim ağırlıklar ve önyargılardır. Bu bir maliyet fonksiyonu olarak en aza indirmek, yani uygun değeri bulmak istiyoruz . Biz seçim varsayalım , o zaman: $v_i$ $\Delta v_i$

Δ v_{i} = - η \frac{\partial C}{\partial v_{i}}

$\Delta v_i = -\eta \frac{\partial C}{\partial v_i}$

Δ C \approx - η (\frac{\partial C}{\partial v_{i}})

$\Delta C \approx -\eta \left(\frac{\partial C}{\partial v_i}\right)$

Bu , parametredeki değişikliğinin maliyet işlevini azalttığı anlamına gelir . $\Delta v_i$ $\Delta C$

çıktı nöronu düşünün : $j$

C = \frac{1}{2} (y (x) - a_{j}^{L} (x)^{2}

$C = \frac{1}{2}(y(x)-a_j^L(x)^2$

a_{j}^{L} = σ = \frac{1}{1 + e^{- (w_{j}^{ℓ} \cdot a_{j}^{ℓ - 1} + b_{j}^{ℓ})}}

$a_j^L =\sigma = \frac{1}{ 1+e^{ -(\mathbf{w}_j^\ell \cdot \mathbf{a}_j^{\ell-1}+b_j^\ell)}}$

Biz kilo güncellemek istediğinizi varsayalım nöron gelen ağırlığı içinde için katmanın \ ell katmanda -th nöronun. Sonra elimizde: $w_{jk}^\ell$ $k$ $\ell-1$ $j$

w_{j k}^{ℓ} \Rightarrow w_{j k}^{ℓ} - η \frac{\partial C}{\partial w_{j k}^{ℓ}}

$w_{jk}^\ell \Rightarrow w_{jk}^\ell -\eta \frac{\partial C}{\partial w_{jk}^\ell}$

b_{j}^{ℓ} \Rightarrow b_{j}^{ℓ} - η \frac{\partial C}{\partial b_{j}^{ℓ}}

$b_{j}^\ell \Rightarrow b_{j}^\ell -\eta \frac{\partial C}{\partial b_{j}^\ell}$

Zincir kuralını kullanarak türev alma:

\frac{\partial C}{\partial w_{j k}^{ℓ}} = (a_{j}^{L} (x) - y (x)) σ^{'} a_{k}^{ℓ - 1}

$\frac{\partial C}{\partial w_{jk}^\ell} = \left(a_j^L(x)-y(x)\right) \sigma' a_k^{\ell-1}$

\frac{\partial C}{\partial b_{j}^{ℓ}} = (a_{j}^{L} (x) - y (x)) σ^{'}

$\frac{\partial C}{\partial b_{j}^\ell} = \left(a_j^L(x)-y(x)\right) \sigma'$

Sigmoid'in türevine bağımlılığı görüyorsunuz (ilkinde aslında ikinci wrt wrt , ancak her ikisi de üs olduğu için çok fazla değişmiyor). $w$ $b$

Şimdi jenerik tek değişkenli sigmoid için türev : $z$

\frac{d σ (z)}{d z} = σ (z) (1 - σ (z))

$\frac{d \sigma(z)}{d z} = \sigma(z)(1-\sigma(z))$

Şimdi tek bir çıkış nöronunu düşünün ve nöronun çıkması gerektiğini varsayalım, bunun yerine yakın bir değer çıkarması gerekir : her ikisini de grafikten yakın değerler için sigmoid'in düz olduğunu, yani türevinin yakın olduğunu göreceksiniz. , yani parametrenin güncellemeleri çok yavaştır (güncelleme denklemleri bağlı olduğundan) . $0$ $1$ $1$ $0$ $\sigma'$

Çapraz entropi fonksiyonunun motivasyonu

Çapraz entropinin başlangıçta nasıl türetildiğini görmek için, birisinin teriminin öğrenme sürecini yavaşlattığını öğrendiğini varsayalım . terimini ortadan kaldırmak için bir maliyet fonksiyonu mümkün olup olmadığını merak edebiliriz . Temel olarak biri isteyebilir: $\sigma'$ $\sigma'$

\begin{aligned} \frac{\partial C}{\partial w} & = x (a - y) \\ \frac{\partial C}{\partial b} = (a - y) \end{aligned}

$\begin{equation} \begin{aligned} \frac{\partial C}{\partial w} & =x \left( a - y\right)\\ \frac{\partial C}{\partial b} =\left( a - y\right) \end{aligned} \end{equation}$ Zincir kuralından: İstenilen denklemi zincir kuralından biriyle karşılaştırdığımızda, biri Örtme yöntemini kullanarak:

\frac{\partial C}{\partial b} = \frac{\partial C}{\partial a} \frac{\partial a}{\partial b} = \frac{\partial C}{\partial a} σ^{'} (z) = \frac{\partial C}{\partial a} σ (1 - σ)

$\begin{equation} \frac{\partial C}{\partial b} =\frac{\partial C}{\partial a} \frac{\partial a}{\partial b } =\frac{\partial C}{\partial a}\sigma'(z) = \frac{\partial C}{\partial a} \sigma(1-\sigma) \end{equation}$

\frac{\partial C}{\partial a} = \frac{a - y}{a (1 - a)}

$\begin{equation} \frac{\partial C}{\partial a} = \frac{a-y}{a(1-a)} \end{equation}$

\frac{\partial C}{\partial a} = - [y \ln a + (1 - y) \ln (1 - a)] + c o n s t

$\begin{equation} \frac{\partial C}{\partial a} = -\left[ y\ln a + (1-y)\ln(1-a)\right]+const \end{equation}$ Tam maliyet işlevini elde etmek için, tüm eğitim örneklerini ortalamalıyız ; burada buradaki sabit, her eğitim örneği için ayrı sabitlerin ortalamasıdır.

\frac{\partial C}{\partial a} = - \frac{1}{n} \sum_{x} [y \ln a + (1 - y) \ln (1 - a)] + c o n s t

$\begin{equation} \frac{\partial C}{\partial a} = -\frac{1}{n}\sum_x\left[y\ln a + (1-y)\ln(1-a)\right]+const \end{equation}$

Bilgi teorisi alanından gelen çapraz entropiyi yorumlamanın standart bir yolu vardır. Kabaca söylemek gerekirse, fikir çapraz entropinin bir sürpriz ölçüsü olduğu. Çıktı beklediğimiz ise düşük sürpriz alırız ( ) ve çıktı beklenmedikse yüksek sürpriz alırız . $a$ $y$

Softmax

İkili bir sınıflandırma için çapraz entropi, bilgi teorisindeki tanıma benzemektedir ve değerler yine de olasılıklar olarak yorumlanabilir.

Çok terimli sınıflandırmada bu artık geçerli değildir: çıktılar toplamı kadar not eder . $1$

Onları hiç özetlemek isterseniz sum böylece çıkışları normalleştirmek SoftMax işlevini kullanın . $1$ $1$

Ayrıca, çıktı katmanı softmax fonksiyonlarından oluşuyorsa, yavaşlatma terimi mevcut değildir. Softmax çıktı katmanı ile log olabilirlik maliyeti fonksiyonunu kullanırsanız, sonuç, sigmoid nöronlarla çapraz entropi fonksiyonu için bulunana benzer bir şekilde kısmi türevlerin bir formunu ve güncelleme denklemlerini elde edersiniz.

ancak

— Francesco Boi
kaynak