«softmax» etiketlenmiş sorular

Lojistik sınıflandırıcısındaki fonksiyon seçimine (Softmax vs Sigmoid) ne karar verir? 4 çıkış sınıfı olduğunu varsayalım. Yukarıdaki fonksiyonların her biri, her sınıfın doğru çıktı olma ihtimalini verir. Peki sınıflandırıcı için hangisi?

63 machine-learning  logistic  classification  softmax 

Geri yayılımın softmax / çapraz entropi çıkış katmanı için nasıl çalıştığını anlamaya çalışıyorum. Çapraz entropi hata fonksiyonu: E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j sırasıyla nöron j'de hedef ve çıktı olarak ttt ve ile . Toplam, çıktı katmanındaki her nöronun üzerindedir. o j , softmax işlevinin bir sonucudur:ooojjjojojo_j oj=softmax(zj)=ezj∑jezjoj=softmax(zj)=ezj∑jezjo_j=softmax(z_j)=\frac{e^{z_j}}{\sum_j e^{z_j}} Yine, toplam, çıktı …

40 backpropagation  derivative  softmax  cross-entropy 

Bu sayfayı okudum: http://neuralnetworksanddeeplearning.com/chap3.html ve çapraz entropili sigmoid çıkış katmanının log-olasılıklı softmax çıkış katmanına oldukça benzer olduğunu söyledi. log katsayılı sigmoid veya çıktı katmanında çapraz entropi ile softmax kullanırsam ne olur? iyi mi? çünkü çapraz entropi arasındaki denklemde sadece küçük bir fark olduğunu görüyorum (eq.57): C=−1n∑x(ylna+(1−y)ln(1−a))C=−1n∑x(yln⁡a+(1−y)ln⁡(1−a))C = -\frac{1}{n} \sum\limits_x (y …

31 neural-networks  maximum-likelihood  softmax 

Bir süredir Konvolutional Sinir Ağları (CNN) ile çalışıyorum, çoğunlukla semantik segmentasyon / örnek segmentasyonu için görüntü verileri üzerinde. Belirli bir sınıf için piksel başına aktivasyonların ne kadar yüksek olduğunu görmek için genellikle ağ çıkışının softmax değerini bir "ısı haritası" olarak görselleştirdim. Düşük aktivasyonları "belirsiz" / "belirsiz" ve yüksek aktivasyonları "belirli" …

22 probability  deep-learning  conv-neural-network  uncertainty  softmax 

Bir vektör üzerine softmax fonksiyonunun uygulanması, "olasılıklar" ve ile arasında değerler üretecektir . 000111 Ancak her bir değeri vektörün toplamına bölebiliriz ve bu da ile arasında olasılıklar ve değerler üretir .000111 Burada cevabı okudum ama her iki fonksiyon da farklı olsa da bunun nedeninin farklı olabileceğinden kaynaklandığını söylüyor.

20 machine-learning  neural-networks  softmax 

Çıktı değişkeni sıralı olduğu bir şey tahmin etmek için ayarlanmış bir sinir ağı var. Aşağıda üç olası çıkış A <B <C kullanarak açıklayacağım. Kategorik verileri çıkarmak için bir sinir ağının nasıl kullanılacağı oldukça açıktır: çıktı, son (genellikle tamamen bağlı) katmanın sadece softmax'ıdır, kategori başına birdir ve tahmin edilen kategori en …

20 neural-networks  ordinal-data  softmax 

Optimal bir lambda aramak için glmnetiçeride caretkullanma cv.glmnetve aynı görevi yapmak için kullanma karşılaştırmasında çok fazla karışıklık var gibi görünüyor . Birçok soru yöneltildi, örneğin: Sınıflandırma modeli train.glmnet mi cv.glmnet mi? Glmnet'i caret ile kullanmanın doğru yolu nedir? "Caret" kullanarak çapraz onaylama "glmnet" ancak sorunun tekrarlanabilirliğinden kaynaklanabilecek hiçbir cevap verilmemiştir. …

14 r  caret  glmnet  machine-learning  neural-networks  maximum  softmax  probability  distributions  mathematical-statistics  random-variable  cdf  statistical-significance  variance  expected-value  ratio  sample-size  reliability  tolerance-interval  wilcoxon-signed-rank  self-study  variance  sampling  mean  machine-learning  svm  libsvm  self-study  sampling  ranks  data-visualization  histogram  machine-learning  classification  normal-distribution  mathematical-statistics  maximum-likelihood  mixture  predictive-models  prediction  seasonality 

Word2vec'in CBOW ve skip-gram modellerinde, negatif örnekleme sık kelimeler için daha iyi olurken, hiyerarşik softmax'ın neden nadir kelimeler için daha iyi olduğunu merak ediyorum. Https://code.google.com/p/word2vec/ adresinde hak talebini okudum .

12 natural-language  word2vec  word-embeddings  softmax 

Nöral ağlar ve derin öğrenme noktaları com öğretici ile sinir ağlarını öğrenmeye başladım. Özellikle 3. bölümde çapraz entropi fonksiyonu hakkında bir bölüm vardır ve çapraz entropi kaybını şu şekilde tanımlar: C=−1n∑x∑j(yjlnaLj+(1−yj)ln(1−aLj))C=−1n∑x∑j(yjln⁡ajL+(1−yj)ln⁡(1−ajL))C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j + (1-y_j) \ln (1 - a^L_j)) Bununla birlikte, Tensorflow girişini okurken, çapraz …

12 neural-networks  loss-functions  softmax  cross-entropy 

Sinir ağlarında gerçek sayıları olasılıklara dönüştürmek için yaygın olarak kullanılan softmax fonksiyonu, Boltzmann dağılımı ile aynı işlevdir, termodinamikte belirli bir sıcaklıkta T termal dengede parçacıkların enerjileri üzerindeki olasılık dağılımı. Bunun pratik olmasının açık sezgisel nedenlerini görebiliyorum: Girdi değerleri negatif olursa olsun, softmax bire karşılık gelen pozitif değerler verir. Her zaman …

12 machine-learning  neural-networks  softmax 

Evrişimli sinir ağlarını çalışıyorum ve uygulamaya çalışıyorum, ancak bu sorunun genel olarak çok katmanlı algılayıcılar için geçerli olduğunu düşünüyorum. Ağımdaki çıkış nöronları her sınıfın aktivasyonunu temsil eder: en aktif nöron, belirli bir girdi için öngörülen sınıfa karşılık gelir. Eğitim için çapraz entropi maliyetini göz önünde bulundurmak için, ağın sonuna bir …

12 neural-networks  deep-learning  conv-neural-network  nonlinear  softmax 

Makine öğrenimi literatüründe, bir olasılık dağılımını temsil etmek için genellikle softmax işlevi kullanılır. Bunun bir sebebi var mı? Neden başka bir işlev kullanılmıyor?

10 machine-learning  distributions  softmax 

Kapalı. Bu soru konu dışı . Şu anda cevapları kabul etmiyor. Bu soruyu geliştirmek ister misiniz? Sorunuzu güncelleyin o yüzden -konu üzerinde Çapraz doğrulanmış için. 11 ay önce kapalı . Scikit çok katmanlı Perceptron Softmax aktivasyon fonksiyonunu uygulamak gerekir. Scikit dokümantasyonu Sinir ağı modellerinin konu (denetimli) diyor "MLPClassifier çıkış fonksiyonu …

9 neural-networks  scikit-learn  multi-class  softmax 

Caffe'nin (derin öğrenme çerçevesi) model örneklerinin çoğu için Softmax Kayıp Katmanını SoftmaxWithLoss çıktı katmanı olarak kullandığını gözlemledim . Bildiğim kadarıyla Softmax Loss katmanı , Multinomial Logistic Loss Layer ve Softmax Layer kombinasyonudur . Caffe'den, Softmax Kaybı Katmanı gradyan hesaplaması daha sayısal olarak kararlıdır Ancak, bu açıklama istediğim cevap değil, açıklama …

9 multinomial  entropy  sums-of-squares  softmax