Çapraz entropi kaybı açıklaması

Diyelim ki sınıflandırma için bir NN yapıyorum. Son katman, softmax aktivasyonuna sahip bir Yoğun katmandır. Sınıflandırmam gereken beş farklı sınıfım var. Tek bir eğitim örneğin varsayalım, true labelolduğu [1 0 0 0 0]tahminlerin olmak iken [0.1 0.5 0.1 0.1 0.2]. Bu örnek için çapraz entropi kaybını nasıl hesaplardım?

Çapraz entropi formülü iki dağılımları, alır , doğru dağılım ve kesikli değişken üzerinden tanımlanan, tahmin edilen dağılımı, ve verilir$p(x)$$q(x)$$x$

$$H(p,q) = -\sum_{\forall x} p(x) \log(q(x))$$

Bir sinir ağı için, hesaplama aşağıdakilerden bağımsızdır:

• Ne tür bir katman kullanıldı.

• Ne tür bir aktivasyon kullanıldı - birçok aktivasyon hesaplamaya uygun olmayacak olmasına rağmen, çıktıları olasılık olarak yorumlanamaz (yani, çıktıları negatif, 1'den büyük veya 1'e eşit değil). Softmax, genellikle çok sınıflı sınıflandırma için kullanılır, çünkü iyi işlenmiş bir olasılık dağılım fonksiyonunu garanti eder.

Bir sinir ağı için, genellikle 'nin temel doğruluk vektörü ve (veya son katman çıktısından doğrudan alınan başka bir değerin) olduğu bir formda yazılmış olan denklemi göreceksiniz. tahmin. Tek bir örnek için, şuna benzer:$\mathbf{y}$y$\mathbf{\hat{y}}$

$$L = - \mathbf{y} \cdot \log(\mathbf{\hat{y}})$$

Burada , vektör nokta ürünüdür.$\cdot$

Örnek temel gerçeğiniz tüm olasılıkları ilk değere verir ve diğer değerler sıfırdır, bu yüzden onları görmezden gelebiliriz ve tahminlerinizden eşleşen terimi kullanabiliriz:$\mathbf{y}$y$\mathbf{\hat{y}}$

$L = -(1\times log(0.1) + 0 \times \log(0.5) + ...)$

$L = - log(0.1) \approx 2.303$

Yorumlardan önemli bir nokta

Demek ki, kayıp olursa olsun tahmin ise aynı olacaktır ya da ?$[0.1, 0.5, 0.1, 0.1, 0.2]$$[0.1, 0.6, 0.1, 0.1, 0.1]$

Evet, bu çok sınıflı logloss'un temel bir özelliğidir, sadece doğru sınıfların olasılıklarını ödüllendirir / cezalandırır. Değer, kalan olasılığın yanlış sınıflar arasında nasıl bölündüğünden bağımsızdır.

Bu denklemi, tüm örneklerde ortalama olarak bir maliyet işlevi olarak göreceksiniz . Açıklamalara her zaman kesinlikle uyulmamaktadır, ancak genellikle bir kayıp fonksiyonu daha düşük seviyedir ve tek bir vakanın veya bileşenin bir hata değerini nasıl belirlediğini açıklarken, bir maliyet fonksiyonu daha yüksek seviyededir ve eksiksiz bir sistemin optimizasyon için nasıl değerlendirildiğini açıklar. boyutunda veri kümesi için çok sınıflı günlük kaybına dayanan bir maliyet işlevi şöyle görünebilir:$N$

$$J = - \frac{1}{N}\left(\sum_{i=1}^{N} \mathbf{y_i} \cdot \log(\mathbf{\hat{y}_i})\right)$$

Birçok uygulama temel gerçek değerlerinin tek bir sıcak kodlanmış olmasını gerektirir (tek bir gerçek sınıfla), çünkü bu bazı ekstra optimizasyonlara izin verir. Bununla birlikte, prensip olarak, çapraz entropi kaybı, bu olmadığı durumlarda hesaplanabilir ve optimize edilebilir.

Neil'in cevabı doğrudur. Ancak ise işaret etmek onun önemli düşünmek kaybı yanlış sınıfları (doğru sınıf ve geri kalanı arasında sadece dağıtım) arasında dağılım bağlı değildir, gradyan bu kayıp fonksiyonunun farklı nasıl bağlı etkinleşir yanlış sınıfları yapar yanlışlar. Bu nedenle, makine öğreniminde cross-ent kullandığınızda [0.1 0.5 0.1 0.1 0.2] ve [0.1 0.6 0.1 0.1 0.1] için ağırlıkları farklı şekilde değiştireceksiniz. Bunun nedeni, doğru sınıfın puanının bir olasılık haline dönüşmesi için diğer tüm sınıfların puanları tarafından normalleştirilmesidir.

Zararın gradyanının nasıl davrandığını görelim ... Bizde verilen bir kayıp fonksiyonu olarak çapraz entropiye sahibiz.

$$H(p,q) = -\sum_{i=1}^n p(x_i) \log(q(x_i)) = -(p(x_1)\log(q(x_1)) + \ldots + p(x_n)\log(q(x_n))$$

$x_i$

$$\frac{\partial}{\partial x_i} H(p,q) = -\frac{\partial}{\partial x_i} p(x_i)\log(q(x_i)).$$ $$\frac{\partial}{\partial x_i} H(p,q) = -p(x_i)\frac{1}{q(x_i)}\frac{\partial q(x_i)}{\partial x_i}.$$

$p(x_i)$

Yazılım paketlerinin tahmini değeri 0 ile nasıl anlaşıldığını merak ediyorum, gerçek değer sıfırdan büyükse ... Bu durumda sıfıra böldüğümüz için.

Bilgi teorisindeki entropiyi anlamakla başlayalım: "aaaaaaaa" harfli bir dizi iletmek istediğinizi varsayalım. Bunu 8 * "a" olarak kolayca yapabilirsiniz. Şimdi başka bir dizge "jteikfqa" alın. Bu dizgiyi iletmenin sıkıştırılmış bir yolu var mı? Orada yok. 2. dizenin entropisinin, onu iletmek için daha fazla "bit" bilgisine ihtiyacımız olduğunu söyleyebiliriz.

$log_2(n)$$-\log_{2}(1/8)$

$$-\sum_{i=1}^{8}\frac{1}{8}\log_{2}(\frac{1}{8}) = 3$$

"Cross" -entropy'de, adından da anlaşılacağı gibi, iki farklı olasılık dağılımındaki farkı açıklamak için gereken bit sayısına odaklanıyoruz. En iyi durum senaryosu, her iki dağılımın da aynı olmasıdır, bu durumda en az miktarda bit gereklidir, yani basit entropi. Matematiksel olarak

$$H(\bf{y},\bf{\hat{y}}) = -\sum_{i}\bf{y}_i\log_{e}(\bf{\hat{y}}_i)$$

$\bf{\hat{y}}$$\bf{y}$

Alt satır: Layman terimlerinde, çapraz entropi, o mesafeyi açıklamak için gereken bilgi miktarı (bit) açısından iki olasılık dağılımı arasındaki mesafe olarak düşünülebilir. Olasılık vektörleri birbirine yaklaşırken aşağıya doğru giden bir kaybı tanımlamanın zarif bir yoludur.

Lucas'a katılmıyorum. Yukarıdaki değerler zaten olasılıktır. Orijinal gönderinin, değerlerin softmax aktivasyonu olduğunu gösterdiğini unutmayın.

Hata sadece "sıcak" sınıfa geri gönderilir ve diğer sınıflardaki olasılıklar birbirleri arasında değiştiğinde Q (i) olasılığı değişmez.

Sorun, olasılıkların, diğer çıktıları verilen değere dahil eden 'karmaşık' bir fonksiyondan gelmesidir. Sonuçlar birbiriyle bağlantılıdır, bu şekilde gerçek sonuç ile ilgili değil, her bir sonuç için son etkinleştirme işlevinin (softmax) tüm girdileriyle.

$p_i - y_i$

Gombru.github.io/2018/05/23/cross_entropy_loss adresindeki diğer temiz açıklama .

Son aktivasyon katmanı olarak basit bir sigmoid kullanmanın onaylanan cevaba yol açacağını düşünüyorum, ancak softmax kullanmanın farklı cevapları gösterdiğini düşünüyorum.