Bir sinir ağının çıkış katmanında, bir olasılık dağılımına yaklaşmak için softmax işlevinin kullanılması tipiktir:

Bu, üsler nedeniyle hesaplanması pahalıdır. Neden tüm çıkışların pozitif olması için bir Z dönüşümü yapmıyorsunuz ve sonra tüm çıkışları tüm çıkışların toplamına bölerek normalleştiriyorsunuz?

Softmax'ın standart normalizasyona kıyasla hoş bir özelliği var.

Sinir ağınızın düşük uyarımına (bulanık görüntüyü düşünün) oldukça homojen dağılımla ve 0 ve 1'e yakın olasılıklarla yüksek uyarımlara (yani büyük sayılar, net görüntü düşünün) tepki verir.

Standart normalizasyon, oran aynı olduğu sürece umursamaz.

Soft max'in 10 kat daha büyük girişi olduğunda ne olduğuna bir bakın, yani nöral ağınız net bir görüntüye sahip ve çok sayıda nöron aktif hale geldi

>>> softmax([1,2])              # blurry image of a ferret
[0.26894142,      0.73105858])  #     it is a cat perhaps !?
>>> softmax([10,20])            # crisp image of a cat
[0.0000453978687, 0.999954602]) #     it is definitely a CAT !

Ve sonra standart normalleştirme ile karşılaştırın

>>> std_norm([1,2])                      # blurry image of a ferret
[0.3333333333333333, 0.6666666666666666] #     it is a cat perhaps !?
>>> std_norm([10,20])                    # crisp image of a cat
[0.3333333333333333, 0.6666666666666666] #     it is a cat perhaps !?

Bu soruyu aylardır soruyorum. Görünüşe göre softmax'ı bir çıkış fonksiyonu olarak akıllıca tahmin ettik ve sonra softmax'a girişi log olasılıkları olarak yorumladık. Söylediğiniz gibi, neden tüm çıktıları toplamlarına bölerek normalleştirmeyesiniz? Cevabı Goodfellow, Bengio ve Courville (2016) tarafından 6.2.2'deki Derin Öğrenme kitabında buldum .

Son gizli katmanımızın bize etkinleştirme olarak z verdiğini varsayalım. Sonra softmax şöyle tanımlanır:

Çok Kısa Açıklama

Softmax fonksiyonundaki exp kabaca çapraz entropi kaybındaki logu iptal eder ve kaybın z_i'de kabaca doğrusal olmasına neden olur. Bu, model yanlış olduğunda kabaca sabit bir eğime yol açar ve hızlı bir şekilde kendini düzeltmesine izin verir. Böylece, yanlış doymuş bir softmax kaybolan bir eğime neden olmaz.

Kısa Açıklama

Bir sinir ağını eğitmek için en popüler yöntem Maksimum Olabilirlik Tahmini'dir. Teta parametrelerini egzersiz verilerinin (m büyüklüğünde) olasılığını en üst düzeye çıkaracak şekilde tahmin ediyoruz. Tüm eğitim veri kümesinin olasılığı, her örneğin olasılığının bir ürünü olduğundan, veri kümesinin günlük olasılığını ve dolayısıyla k ile endekslenen her örneğin günlük olasılığı olasılığını en üst düzeye çıkarmak daha kolaydır :

Şimdi, sadece burada z ile verilen softmax'a odaklanıyoruz, böylece değiştirebiliriz

ben kth örneğinin doğru sınıfı olmak. Şimdi, görüyoruz ki softmax'ın logaritmasını aldığımızda, numunenin log olasılığını hesaplamak için:

, z'deki büyük farklılıklar için kabaca yaklaşık

İlk olarak, burada z_i doğrusal bileşenini görüyoruz. İkinci olarak, max (z) 'nin davranışını iki durum için inceleyebiliriz:

1. Model doğruysa, max (z) z_i olacaktır. Bu nedenle, log olabilirliği, z_i ve z'deki diğer girdiler arasında artan bir farkla sıfırı (yani 1 olasılığı) asimptote eder.
2. Model yanlışsa, max (z) başka bir z_j> z_i olacaktır. Bu nedenle, z_i eklenmesi -z_j'yi tamamen iptal etmez ve günlük olasılığı kabacadır (z_i - z_j). Bu, modele günlük olasılığını artırmak için ne yapılacağını açıkça gösterir: z_i değerini artırın ve z_j değerini azaltın.

Genel log olasılığına, modelin yanlış olduğu örneklerin hakim olacağını görüyoruz. Ayrıca, model gerçekten yanlış olsa bile, doymuş bir softmax'a neden olur, kayıp fonksiyonu doymaz. Yaklaşık olarak z_j cinsinden doğrusaldır, yani kabaca sabit bir gradyanımız vardır. Bu, modelin kendini hızlı bir şekilde düzeltmesini sağlar. Örneğin, Ortalama Kare Hatası için durumun böyle olmadığını unutmayın.

Uzun Açıklama

Softmax hala sizin için keyfi bir seçim gibi görünüyorsa, sigmoidi lojistik regresyonda kullanma gerekçesine bir göz atabilirsiniz:

Neden başka bir şey yerine sigmoid işlevi?

Softmax, benzer şekilde gerekçelendirilen çok sınıflı problemler için sigmoidin genelleştirilmesidir.

Burada açıklamanın çok iyi olduğunu gördüm: CS231n: Görsel Tanıma için Evrimsel Sinir Ağları.

Yüzeyde softmax algoritması basit bir doğrusal olmayan (verileri üstel olarak yayıyoruz) gibi görünüyor. Ancak bundan daha fazlası var.

Özellikle birkaç farklı görünüm vardır ( yukarıdakiyle aynı bağlantı ):

1. Bilgi Teorisi - bilgi teorisi açısından softmax işlevi, tahminler ve gerçek arasındaki çapraz entropiyi en aza indirmeye çalışıyormuş gibi görülebilir.

2. Olasılıksal Bakış - bu perspektiften aslında log olasılıklarına bakıyoruz, böylece üs alma gerçekleştirdiğimizde ham olasılıklarla sonuçlanıyoruz. Bu durumda softmax denklemi MLE'yi bulur (Maksimum Olabilirlik Tahmini)

Özetle, softmax denklemi keyfi gibi görünse bile DEĞİLDİR. Aslında, tahminler ve gerçek arasındaki çapraz entropi / negatif olasılığı en aza indirmek için sınıflandırmaları normalleştirmenin oldukça ilkeli bir yoludur.

Q_i değerleri, günlük olasılıklarını temsil eder. Olasılık değerlerini kurtarmak için bunları üstelemeniz gerekir.

İstatistiksel algoritmaların genellikle log-olasılık kaybı fonksiyonlarını kullanmasının bir nedeni, daha sayısal olarak kararlı olmalarıdır: olasılıkların bir ürünü çok küçük bir kayan nokta sayısı olarak temsil edilebilir. Bir günlük olabilirlik kaybı işlevini kullanarak, olasılıkların bir ürünü bir toplam haline gelir.

Diğer bir neden, çok değişkenli Gauss dağılımlarından alındığı varsayılan rasgele değişkenler için tahmin ediciler oluştururken log-olasılıkların doğal olarak meydana gelmesidir. Örneğin Maksimum Olabilirlik (ML) tahmincisine ve bunun en küçük karelere nasıl bağlandığına bakın.

Bir sidenote olarak, bu sorunun CS Teorisi veya Hesaplamalı Bilim Yığın Değişimleri için daha uygun olduğunu düşünüyorum.

Çok sınıflı bir sınıflandırma sorununa bakıyoruz. Yani, tahmin edilen değişken kategorilerden ybirini alabilir k, burada k > 2. Olasılık teorisinde, bu genellikle çok terimli bir dağılım ile modellenir. Çok terimli dağılım, üstel aile dağılımlarının bir üyesidir. P(k=?|x)Üstel aile dağılımlarının özelliklerini kullanarak olasılığı yeniden oluşturabiliriz, softmax formülüne denk gelir.

Sorunun multinomiyal dışında başka bir dağıtımla modellenebileceğine inanıyorsanız, softmax'dan farklı bir sonuca ulaşabilirsiniz.

Daha fazla bilgi ve resmi bir türetme için lütfen CS229 ders notlarına (9.3 Softmax Regresyonu) bakınız .

Ek olarak, genellikle softmax için gerçekleştirdiği yararlı bir numara şöyledir: softmax (x) = softmax (x + c) , softmax girişteki sabit ofsetlere değişmez.

Bunun nedenlerinden biri, exp (x) her zaman pozitif ve sıfırdan büyük olacağından, negatif sayılarla ve sıfıra bölmekle ilgili olabileceğini düşünüyorum.

Örneğin a = [-2, -1, 1, 2], toplam 0 için sıfırla bölünmeyi önlemek için softmax kullanabiliriz.

Softmax fonksiyonunu değiştirdiğimizi varsayalım ki çıktı aktivasyonları

cpozitif bir sabit nerede . Bunun c=1standart softmax fonksiyonuna karşılık geldiğini unutmayın . Ancak farklı bir değer kullanırsak c, yine de softmax'a niteliksel olarak oldukça benzer olan farklı bir fonksiyon elde ederiz. Özellikle, çıkış aktivasyonlarının, normal softmax için olduğu gibi bir olasılık dağılımı oluşturduğunu gösterin. Büyükleşmeye izin verdiğimizi varsayalım c, yani c→∞. Çıkış aktivasyonları için sınırlayıcı değer nedir a^L_j? Bu sorunu çözdükten sonra, c=1işlevi neden maksimum işlevin "yumuşatılmış" bir sürümü olarak düşündüğümüz açık olmalıdır . Bu "softmax" teriminin kökenidir. Ayrıntıları bu kaynaktan takip edebilirsiniz (denklem 83).

Piotr Czapla cevabına ek olarak, giriş değerleri arttıkça, maksimum giriş olasılığı, aynı oran için ve diğer girişlerle karşılaştırıldığında daha büyük olur:

Softmax fonksiyonunun seçimi, olası diğer normalleştirme fonksiyonları olduğu için bir şekilde keyfi görünmektedir . Bu nedenle log-softmax kaybının neden diğer kayıp alternatiflerinden daha iyi performans göstereceği belirsizdir.

" Küresel Kayıp Ailesine Ait Softmax Alternatiflerinin Keşfi " https://arxiv.org/abs/1511.05042

Yazarlar, Taylor'un genişlemesi expve küresel softmax olarak adlandırılan bazı işlevleri araştırdılar ve bazen normalden daha iyi performans gösterebileceklerini keşfettiler softmax.