«cross-entropy» etiketlenmiş sorular

Bir dizi nesneyi n sınıflarına ayırmak için sinir ağını eğitiyorum. Her nesne aynı anda birden fazla sınıfa ait olabilir (çoklu sınıf, çoklu etiket). Çok sınıflı problemlerde genellikle mse yerine kayıp fonksiyonu olarak softmax ve kategorik çapraz entropinin kullanılması önerildiğini ve nedenini az çok anladığımı okudum. Çoklu etiket problemim için, her …

64 neural-networks  python  loss-functions  keras  cross-entropy 

Geri yayılımın softmax / çapraz entropi çıkış katmanı için nasıl çalıştığını anlamaya çalışıyorum. Çapraz entropi hata fonksiyonu: E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j sırasıyla nöron j'de hedef ve çıktı olarak ttt ve ile . Toplam, çıktı katmanındaki her nöronun üzerindedir. o j , softmax işlevinin bir sonucudur:ooojjjojojo_j oj=softmax(zj)=ezj∑jezjoj=softmax(zj)=ezj∑jezjo_j=softmax(z_j)=\frac{e^{z_j}}{\sum_j e^{z_j}} Yine, toplam, çıktı …

40 backpropagation  derivative  softmax  cross-entropy 

Aklımda, KL örnek dağılımından gerçek dağılıma ayrışma sadece çapraz entropi ve entropi arasındaki farktır. Neden bir çok makine öğrenme modelinde maliyet fonksiyonu olarak çapraz entropiyi kullanıyoruz, ancak t-sne'de Kullback-Leibler farklılığını kullanıyoruz? Öğrenme hızında herhangi bir fark var mı?

39 kullback-leibler  tsne  cross-entropy 

Öncelikle, ikili tahminler yapmam gerekirse, tek bir sıcak kodlama gerçekleştirerek en az iki sınıf oluşturmam gerektiğini fark ettim. Bu doğru mu? Ancak, ikili çapraz entropi sadece bir sınıf içeren tahminler için mi? Genelde çoğu kütüphanede (TensorFlow gibi) bulunan kategorik bir çapraz entropi kaybı kullansaydım, önemli bir fark olur mu? Aslında, …

36 machine-learning  neural-networks  loss-functions  tensorflow  cross-entropy 

5.5 yılında, Derin Öğrenme (Ian Goodfellow, Yoshua Bengio ve Aaron Courville tarafından), Olumsuz bir log olasılığından oluşan herhangi bir kayıp, eğitim seti tarafından belirlenen ampirik dağılım ile model tarafından tanımlanan olasılık dağılımı arasındaki çapraz entropidir. Örneğin, ortalama kare hatası, ampirik dağılım ve bir Gauss modeliyle çapraz entropidir. Neden eşdeğer olduklarını …

28 machine-learning  normal-distribution  cross-entropy 

Tamamen evrişimli ağlar gibi bir piksel segmentasyonu sinir ağlarını eğitirken, Zar katsayısı kaybı fonksiyonuna karşı çapraz entropi kaybı fonksiyonunu kullanma kararını nasıl verirsiniz? Bunun kısa bir soru olduğunun farkındayım, ancak başka hangi bilgileri sağlayacağından emin değilim. İki kayıp işlevi hakkında bir sürü belgeye baktım ancak birini ne zaman kullanacağımı sezgisel …

27 neural-networks  loss-functions  cross-entropy 

Biraz otomatik kodlayıcıları deniyorum ve tensorflow ile MNIST veri kümesini yeniden yapılandırmaya çalışan bir model oluşturdum. Ağım çok basit: X, e1, e2, d1, Y, burada e1 ve e2 katmanları kodlar, d2 ve Y katmanları çözer (ve Y yeniden yapılandırılmış çıktıdır). X'in 784 birimi, e1'in 100, e2'nin 50, d1'in tekrar 100 …

21 mse  autoencoders  tensorflow  cross-entropy 

Çapraz entropi maliyeti regresyon bağlamında anlamlı mıdır (sınıflamanın aksine)? Eğer öyleyse, TensorFlow aracılığıyla bir oyuncak örneği verebilir misiniz? Değilse, neden olmasın? Michael Nielsen tarafından Yapay Sinir Ağları ve Derin Öğrenme'de çapraz entropi hakkında okuyordum ve doğal olarak regresyon ve sınıflandırma için kullanılabilecek bir şey gibi görünüyor, ancak TensorFlow'da bunu nasıl …

14 regression  entropy  tensorflow  cross-entropy 

Nöral ağlar ve derin öğrenme noktaları com öğretici ile sinir ağlarını öğrenmeye başladım. Özellikle 3. bölümde çapraz entropi fonksiyonu hakkında bir bölüm vardır ve çapraz entropi kaybını şu şekilde tanımlar: C=−1n∑x∑j(yjlnaLj+(1−yj)ln(1−aLj))C=−1n∑x∑j(yjln⁡ajL+(1−yj)ln⁡(1−ajL))C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j + (1-y_j) \ln (1 - a^L_j)) Bununla birlikte, Tensorflow girişini okurken, çapraz …

12 neural-networks  loss-functions  softmax  cross-entropy 

Bir dizi bağımsız gözlem verilen kestirim (ya da düz olan eşdeğer, MAP / üniform önce), bu tanımlar parametreler \ mathbf {θ} modeli dağılımı üretmek P_ {modeli} \ bu gözlemlerle en iyi eşleşen sol (\, \ cdot \,; \ mathbf {θ} \ right)O = { o ( 1 )mmmO={o(1),...,o(m)}O={o(1),...,o(m)}\mathbb{O}=\{\mathbf{o}^{(1)}, . . …

12 maximum-likelihood  deep-learning  cross-entropy 

İki ve ayrı dağılımı için , çapraz entropi şu şekilde tanımlanır:qpppqqq 'H( p , q) = - ∑xp ( x ) günlüğüq( x ) .'H(p,q)=-Σxp(x)günlük⁡q(x).H(p,q)=-\sum_x p(x)\log q(x). Bunun neden iki olasılık dağılımı arasındaki mesafenin sezgisel bir ölçüsü olacağını merak ediyorum? Bunu görmek entropisidir , tedbirleri "sürpriz" . , kısmen yerini …

11 probability  distributions  cross-entropy