Softmax sınıflandırıcısında normalizasyonu yapmak için neden exp fonksiyonunu kullanmalısınız?

Neden standart normalleştirme yerine softmax kullanılır? Bu sorunun en üst cevabının yorum alanında, @Kilian Batzner da beni şaşırtan 2 soru sordu. Sayısal faydalar dışında kimse açıklama yapmıyor gibi görünüyor.

Çapraz Entropi Kaybı kullanma nedenlerini anlıyorum, ancak bunun softmax ile ilişkisi nedir? "Softmax işlevi tahminler ile gerçekler arasındaki çapraz entropiyi en aza indirmeye çalışıyor gibi görünebilir" dedin. Diyelim ki standart / lineer normalizasyon kullanırdım, fakat yine de Çapraz Entropi Kaybı kullanıyordum. Sonra da Çapraz Entropi'yi minimize etmeye çalışırdım. Peki softmax, sayısal faydalar dışında Çapraz Entropi ile nasıl bağlantılıdır?

Olasılık görüşüne gelince: log olasılıklarına bakmak için motivasyon nedir? Akıl yürütme "softmax'ta e ^ x kullanıyoruz, çünkü x'i log-probabilties olarak yorumluyoruz" gibi görünüyor. Söyleyebileceğimiz aynı mantıkla, softmax'ta e ^ e ^ e ^ x kullanıyoruz, çünkü x'i log-log-log-olasılıkları olarak yorumluyoruz (Tabii ki abartılı). Softmax'ın sayısal faydalarını anlıyorum, fakat bunu kullanmak için teorik motivasyon nedir?

machine-learning deep-learning

— Hans
kaynak

Bu farklılaştırılabilir, negatif olmayan sonuçlara yol açar (örneğin, çapraz entropinin hesaplanabilmesi için gerekli olabilir) ve bir sınıflandırma ayarında uygun olan maksimum fonksiyon gibi davranır. Siteye Hoşgeldiniz!

— Emre

@Emre Teşekkürler! Fakat "maksimum işlev gibi davranır" ne demek? Ayrıca, farklılaşabilen, monoton artan ve negatif olmayan sonuçlara yol açan başka bir işleve sahipsem, bunu formüldeki exp işlevinin yerine koymak için kullanabilir miyim?

— Hans

Kullanarak normalleştirdiğinizde

, en büyük argüman 1'e eşlenirken, geri kalanlar üstel fraksiyonun büyümesi nedeniyle sıfıra eşlenir.

max

$\max$

— Emre

Yanıtlar:

Sayısal olmaktan öte bir şey. Softmax'a hızlı bir hatırlatma:

P (y = j | x) = \frac{e^{x_{j}}}{\sum_{k = 1}^{K} e^{x_{k}}}

$P(y=j | x) = \frac{e^{x_j}}{\sum_{k=1}^K e^{x_k}}$

Burada , sınıflarının sayısına eşit uzunlukta bir giriş vektörüdür . Softmax işlevi 3 çok güzel özelliğe sahiptir: 1. verilerinizi normalleştirir (uygun bir olasılık dağılımı verir), 2. farklılaştırılır ve 3. bahsettiğiniz exp'i kullanır. Birkaç önemli nokta: $x$ $K$

Kayıp fonksiyonu doğrudan softmax ile ilişkili değildir. Standart normalleştirme kullanabilir ve yine de çapraz entropi kullanabilirsiniz.
Bir "hardmax" işlevi (yani argmax) ayırt edilemez. Softmax, çıkış vektöründeki tüm elemanlara en azından minimum bir olasılık verir ve bu nedenle, softmax'ta "yumuşak" terimi oldukça farklılaştırılabilir.
Şimdi sorunuza ulaşıyorum. Softmax içindeki , doğal üstel fonksiyondur. Normalleştirmeden önce , grafiğindeki gibi dönüştürürüz . $e$ $x$ : $e^x$

Eğer 0 ise o zaman , eğer 1 ise, o zaman , ve 2 ise, şimdi $x$ $y=1$ $x$ $y=2.7$ $x$ ! Büyük bir adım! Normal olmayan günlük skorlarımızın doğrusal olmayan bir dönüşümü denir. SoftMax normalizasyon ile birlikte üstel fonksiyon ilginç özelliği olmasıyla yüksek puanlar $y=7$ $x$ çok daha muhtemel düşük puanları daha olur.

Bir örnek . diyelim ve log puanınız vektördür $K=4$ $x$ . Basit argmax işlevi çıktı verir: $[2, 4, 2, 1]$

[0, 1, 0, 0]

$[0, 1, 0, 0]$

Argmax hedefi, ancak farklı değil ve modelimizi onunla birlikte geliştiremiyoruz :( Farklılaştırılabilen basit bir normalleştirme, aşağıdaki olasılıkları ortaya çıkarır:

[0.2222, 0.4444, 0.2222, 0.1111]

$[0.2222, 0.4444, 0.2222, 0.1111]$

Bu argmax'tan gerçekten uzak! :( SoftMax çıkışları ise:

[0.1025, 0.7573, 0.1025, 0.0377]

$[0.1025, 0.7573, 0.1025, 0.0377]$

Argmax'a çok daha yakın! Doğal üsteli kullandığımız için, en yüksek puanın olasılığını büyük ölçüde arttırır ve standart normalleştirme ile karşılaştırıldığında düşük puanların olasılığını azaltırız. Bu nedenle softmax'ta "max".

— vega
kaynak

Harika bilgi Bununla birlikte, kullanmak yerine, esabit 3 veya 4 sayısının kullanılmasına ne dersiniz? Sonuç aynı olacak mı?

— Cheok Yan Cheng

@CheokYanCheng, evet. Ama edaha güzel bir türevi var;)

— vega

Softmax sonucunun tipik olarak her bir sınıfa ait olma olasılıkları olarak kullanıldığını gördüm. Diğer sabit yerine 'e' seçimi keyfi ise, onu olasılık açısından görmek mantıklı değil mi?

— javierdvalle

@vega Üzgünüz, ama ben hala soruyu nasıl cevapladığını göremiyorum: neden aynı nedenlerle e ^ e ^ e ^ e ^ e ^ x kullanmıyorsunuz? Lütfen açıklayın

— Gulzar

@jvalle değil eyapar bir olasılık olarak, bu SoftMax her çıktı elemanı 1 olarak [0,1] ve bütün toplamlar içinde sınırlanan bir gerçektir yorumlanabilir olduğu

— vega

Vega'nın açıklamasına ek olarak,

genel softmax tanımlayalım:

P (y = j | x) = \frac{ψ^{x_{j}}}{\sum_{k = 1}^{K} ψ^{x_{k}}}

$P(y=j | x) = \frac{\psi^{x_j}}{\sum_{k=1}^K \psi^{x_k}}$ nerede

ψ

$\psi$ bir sabittir> = 1

eğer $\psi=1$ @vega bahsedildiği gibi, o zaman argmax gelen oldukça uzaktır.

Şimdi $\psi=100$ olduğunu varsayalım , şimdi argmax'a oldukça yakınsınız ancak negatif değerler için gerçekten küçük sayılar ve pozitifler için büyük sayılar da var. Bu sayılar taşması şamandıra noktası aritmetik sınırı kolayca (numpy float64 örneğin üst sınırı için $10^{308}$ ). Buna ek olarak, seçim $\psi=e$ olsa $100$ daha küçük olsa bile , çerçeveler daha kararlı bir softmax sürümü (hem pay hem de paydayı $C$ ile çarparak ) uygulamalıdır çünkü sonuçlar ifade edebilmek için küçük hale gelir. Böyle bir hassasiyet.

Bu nedenle, argmax değerine iyi yaklaşacak kadar büyük bir sabit seçmek ve hesaplamalarda bu büyük ve küçük sayıları ifade etmek için yeterince küçük olmak istersiniz.

Ve elbette, $e$ de oldukça hoş bir türevi var.

— komunistbakkal
kaynak

Bu soru çok ilginç. Tam nedeni bilmiyorum ama aşağıdaki nedenin üssel fonksiyon kullanımını açıklamak için kullanılabileceğini düşünüyorum. Bu yazı, istatistik mekaniğinden ve maksimum entropi ilkesinden ilham alıyor.

$N$ $n_1$ $\mathcal{C}_1$ $n_2$ $\mathcal{C}_2$ , ..., and $n_K$ images from the class $\mathcal{C}_K$ . Then we assume that our neural network was able to apply a nonlinear transform on our images, such that we can assign an 'energy level' $E_k$ to all the classes. We assume that this energy is on a nonlinear scale which allows us to linearly separate the images.

$\bar{E}$ $E_k$

N \bar{E} = \sum_{k = 1}^{K} n_{k} E_{k} . (*)

$\begin{equation} N\bar{E} = \sum_{k=1}^{K} n_k E_k.\qquad (*) \label{eq:mean_energy} \end{equation}$

At the same time, we see that the total amount of images can be calculated as the following sum

N = \sum_{k = 1}^{K} n_{k} . (* *)

$\begin{equation} N = \sum_{k=1}^{K}n_k.\qquad (**) \label{eq:conservation_of_particles} \end{equation}$

The main idea of the maximum entropy principle is that the number of the images in the corresponding classes is distributed in such a way that that the number of possible combinations of for a given energy distribution is maximized. To put it more simply the system will not very likeli go into a state in which we only have class $n_1$ it will also not go into a state in which we have the same number of images in each class. But why is this so? If all the images were in one class the system would have very low entropy. The second case would also be a very unnatural situation. It is more likely that we will have more images with moderate energy and fewer images with very high and very low energy.

The entropy increases with the number of combinations in which we can split the $N$ images into the $n_1$ , $n_2$ , ..., $n_K$ image classes with corresponding energy. This number of combinations is given by the multinomial coefficient

(\begin{matrix} N! \\ n_{1}!, n_{2}!, \dots, n_{K}! \end{matrix}) = \frac{N!}{\prod_{k = 1}^{K} n_{k}!} .

$\begin{equation} \begin{pmatrix} N!\\ n_1!,n_2!,\ldots,n_K!\\ \end{pmatrix}=\dfrac{N!}{\prod_{k=1}^K n_k!}. \end{equation}$

We will try to maximize this number assuming that we have infinitely many images $N\to \infty$ . But his maximization has also equality constraints $(*)$ and $(**)$ . This type of optimization is called constrained optimization. We can solve this problem analytically by using the method of Lagrange multipliers. We introduce the Lagrange multipliers $\beta$ and $\alpha$ for the equality constraints and we introduce the Lagrange Funktion $\mathcal{L}\left(n_1,n_2,\ldots,n_k;\alpha, \beta \right)$ .

L (n_{1}, n_{2}, \dots, n_{k}; α, β) = \frac{N!}{\prod_{k = 1}^{K} n_{k}!} + β [\sum_{k = 1}^{K} n_{k} E_{k} - N \bar{E}] + α [N - \sum_{k = 1}^{K} n_{k}]

$\begin{equation} \mathcal{L}\left(n_1,n_2,\ldots,n_k;\alpha, \beta \right) = \dfrac{N!}{\prod_{k=1}^{K}n_k!}+\beta\left[\sum_{k=1}^Kn_k E_k - N\bar{E}\right]+\alpha\left[N-\sum_{k=1}^{K} n_k\right] \end{equation}$

As we assumed $N\to \infty$ we can also assume $n_k \to \infty$ and use the Stirling approximation for the factorial

\ln n! = n \ln n - n + O (\ln n) .

$\begin{equation} \ln n! = n\ln n - n + \mathcal{O}(\ln n). \end{equation}$

Note that this approximation (the first two terms) is only asymptotic it does not mean that this approximation will converge to $\ln n!$ for $n\to \infty$ .

The partial derivative of the Lagrange function with respect $n_\tilde{k}$ will result in

\frac{\partial L}{\partial n_{\tilde{k}}} = - \ln n_{\tilde{k}} - 1 - α + β E_{\tilde{k}} .

$\dfrac{\partial \mathcal{L}}{\partial n_\tilde{k}}=-\ln n_\tilde{k}-1-\alpha+\beta E_\tilde{k}.$

If we set this partial derivative to zero we can find

n_{\tilde{k}} = \frac{\exp (β E_{\tilde{k}})}{\exp (1 + α)} . (* * *)

$n_\tilde{k}=\dfrac{\exp(\beta E_\tilde{k})}{\exp(1+\alpha)}. \qquad (***)$

If we put this back into $(**)$ we can obtain

\exp (1 + α) = \frac{1}{N} \sum_{k = 1}^{K} \exp (β E_{k}) .

$\exp(1+\alpha)=\dfrac{1}{N}\sum_{k=1}^K\exp(\beta E_k).$

If we put this back into $(***)$ we get something that should remind us of the softmax function

n_{\tilde{k}} = \frac{\exp (β E_{\tilde{k}})}{\frac{1}{N} \sum_{k = 1}^{K} \exp (β E_{k})} .

$n_\tilde{k}=\dfrac{\exp(\beta E_\tilde{k})}{\dfrac{1}{N}\sum_{k=1}^K\exp(\beta E_k)}.$

If we define $n_\tilde{k}/N$ as the probability of class $\mathcal{C}_\tilde{k}$ by $p_\tilde{k}$ we will obtain something that is really similar to the softmax function

p_{\tilde{k}} = \frac{\exp (β E_{\tilde{k}})}{\sum_{k = 1}^{K} \exp (β E_{k})} .

$p_\tilde{k}=\dfrac{\exp(\beta E_\tilde{k})}{\sum_{k=1}^K\exp(\beta E_k)}.$

Hence, this shows us that the softmax function is the function that is maximizing the entropy in the distribution of images. From this point, it makes sense to use this as the distribution of images. If we set $\beta E_\tilde{k}=\boldsymbol{w}^T_k\boldsymbol{x}$ we exactly get the definition of the softmax function for the $k^{\text{th}}$ output.

— MachineLearner
kaynak