Sinir ağlarında sigmoid çıkış birimlerini, ve doğrusal olmayan normal olmayan günlük olasılıklarıyla başlayarak

12

Arka plan: Ian Goodfellow ve Yoshua Bengio ve Aaron Courville'in Deep Learning'in 6. bölümünü inceliyorum. Bölüm 6.2.2.2 olarak (sayfa 183 182 buradan görülebilir ) çıkışı sigmoid kullanımı harekete geçirilir. $P(y=1|x)$

Malzemenin bazılarını özetlemek için, etkinleştirme uygulanmadan önce bir çıkış nöronu olmasını sağlarlar; burada , önceki gizli katmanın çıktısıdır, , ağırlıkların bir vektörü ve , skaler bir sapmadır. Giriş vektörü ( bir fonksiyonu olduğu) ve çıkış değeri burada sigmoid fonksiyonudur. Kitap , değerini kullanarak üzerinde bir olasılık dağılımı tanımlamak istemektedir . Sayfa 183'ün ikinci paragrafından:

z = w^{T} h + b

$z = w^Th+b$

h

$h$

w

$w$

b

$b$

x

$x$

h

$h$

y = ϕ (z)

$y=\phi(z)$

ϕ

$\phi$

y

$y$

z

$z$

Şu an için bağımlılığını, değerini kullanarak üzerinde bir olasılık dağılımının nasıl tanımlanacağını tartışıyoruz . Sigmoid, 1'e eşit olmayan normal olmayan bir olasılık dağılımı inşa edilerek motive edilebilir. Daha sonra geçerli bir olasılık dağılımı elde etmek için uygun bir sabitle bölebiliriz. Normalleştirilmemiş log olasılıklarının ve cinsinden doğrusal olduğu varsayımıyla başlarsak , normalleştirilmemiş olasılıkları elde etmek için üs alabiliriz. Daha sonra bunun, z'nin sigmoidal bir dönüşümüyle kontrol edilen bir Bernoulli dağılımı sağladığını görmek için normalize ederiz: $x$ $y$ $z$ $\tilde P(y)$ $y$ $z$
$\begin{aligned} \log \tilde{P} (y) & = y z \\ \tilde{P} (y) & = \exp (y z) \\ P (y) & = \frac{\exp (y z)}{\sum_{y^{'} = 0}^{1} \exp (y^{'} z)} \\ P (y) & = ϕ ((2 y - 1) z) \end{aligned}$ $\begin{align} \log\tilde P(y) &= yz \\ \tilde P(y) &= \exp(yz) \\ P(y) &= \frac{\exp(yz)}{\sum_{y'=0}^1 \exp(y'z) } \\ P(y) &= \phi((2y-1)z) \end{align}$

Sorular: İki şey hakkında kafam karıştı, özellikle de ilk:

İlk varsayım nereden geliyor? Normalleştirilmemiş log olasılığı ve neden doğrusal ? Birisi bana yazarların ile nasıl başladıkları hakkında bir başlangıç yapabilir mi? $y$ $z$ $\log\tilde P(y) = yz$
Son satır nasıl takip ediyor?

neural-networks deep-learning

— HBeel
kaynak

8

için iki olası sonuç vardır . Bu özellik çok önemlidir, çünkü bu özellik çarpmanın anlamını değiştirir. İki olası durum vardır: $y \in \{0, 1\}$

\begin{aligned} \log \tilde{P} (y = 1) & = z \\ \log \tilde{P} (y = 0) & = 0 \end{aligned}

$\begin{align} \log\tilde P(y=1) &= z \\ \log\tilde P(y=0) &= 0 \\ \end{align}$

Ayrıca için normalleştirilmemiş logaritmik olasılığın sabit olduğunu fark etmek önemlidir . Bu özellik ana varsayımdan kaynaklanmaktadır. Herhangi bir deterministik fonksiyonun sabit değere uygulanması sabit çıktı üretir. Bu özellik, tüm olası olasılıklar üzerinde normalleştirme yapacağımız zaman son formülü basitleştirecektir, çünkü sadece için yalnızca normalleştirilmemiş olasılığı bilmemiz gerekir ve için her zaman sabittir. Ve ağdan çıktılar normalleşmemiş logaritmik olasılıkta olduğundan sadece bir çıktıya ihtiyacımız olacak, çünkü diğerinin sabit olduğu varsayıldı. $y=0$ $y=1$ $y=0$

Daha sonra, normalleştirilmemiş olasılık elde etmek için normalleştirilmemiş logaritma olasılığına üs alma uyguluyoruz.

\begin{aligned} \tilde{P} (y = 1) & = e^{z} \\ \tilde{P} (y = 0) & = e^{0} = 1 \end{aligned}

$\begin{align} \tilde P(y=1) &= e ^ z \\ \tilde P(y=0) &= e ^ 0 = 1 \end{align}$

Daha sonra, her normalleştirilmemiş olasılığı tüm normalleştirilmemiş olasılıkların toplamına bölerek olasılıkları normalleştiririz.

\begin{aligned} P (y = 1) = \frac{e^{z}}{1 + e^{z}} \\ P (y = 0) = \frac{1}{1 + e^{z}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ z}{1 + e ^ z} \\ P(y=0) = \frac{1}{1 + e ^ z} \end{align}$

Sadece ile ilgileniyoruz , çünkü sigmoid fonksiyonundan olasılık budur. Elde edilen fonksiyon ilk bakışta sigmoid gibi görünmüyor, ancak eşitler ve gösterilmesi kolay. $P(y=1)$

\begin{aligned} P (y = 1) = \frac{e^{x}}{1 + e^{x}} = \frac{1}{\frac{e^{x} + 1}{e^{x}}} = \frac{1}{1 + \frac{1}{e^{x}}} = \frac{1}{1 + e^{- x}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ x}{1 + e ^ x} = \frac{1}{\frac{e ^ x + 1}{e ^ x}} = \frac{1}{1 + \frac{1}{e ^ x}} = \frac{1}{1 + e ^ {-x}} \end{align}$

Son ifade ilk başta kafa karıştırıcı olabilir, ancak bu sadece son olasılık işlevinin bir sigmoid olduğunu göstermenin bir yoludur. değeri dönüştürür için ve ile (ya da bunun bir değişiklik olmadan söyleyebiliriz). $(2y−1)$ $0$ $-1$ $1$ $1$

P (y) = σ ((2 y - 1) z) = {\begin{cases} σ (z) = \frac{1}{1 + e^{- z}} = \frac{e^{z}}{1 + e^{z}} & when y = 1 \\ σ (- z) = \frac{1}{1 + e^{- (- z)}} = \frac{1}{1 + e^{z}} & when y = 0 \end{cases}

$P(y) = \sigma((2y - 1)z) = \begin{cases} \sigma(z) = \frac{1}{1 + e ^ {-z}} = \frac{e ^ z}{1 + e ^ z} & \text{when } y = 1 \\ \sigma(-z) = \frac{1}{1 + e ^ {-(-z)}} = \frac{1}{1 + e ^ z} & \text{when } y = 0 \\ \end{cases}$

Gördüğümüz gibi, ve arasındaki ilişkiyi göstermenin yolu $\sigma$ $P(y)$

— itdxer
kaynak

"Ayrıca, için normalleştirilmemiş logaritmik olasılığın sabit olduğunu fark etmek önemlidir . Bu özellik ana varsayımdan kaynaklanmaktadır." Varsayım olduğuna karar vermiş miyiz ?

y = 0

$y=0$

y = 1

$y=1$

— HBeel

Sanırım karışıklığım, sigmoid'in gerçek etikete bakılmaksızın modelin olasılığını verdiği gerçeğinden geldi . Teşekkürler!

y = 1

$y=1$

— HBeel

Burada kalın olmak istemezsiniz, ancak , ve nasıl doğrusaldır ? Ben şeklinde bir şey beklerdim . Farkındayım ürün üzerinde yakın doğrusallığı beni alacaktı ama bu yazarın belirtilen ne doğrudan olmak görünmüyor toplamını verecektir.

y \times z

$y\times z$

y

$y$

z

$z$

a y + b z + c

$ay + bz + c$

\log

$\log$

y z

$yz$

— 04:46

Görüyorum ki, bu gerçekten ilginç bir soru. Soruyu ilk kez okuduğumda bu ifadeye dikkat etmedim. Şimdi bana da garip geliyor. Bir sorun y ikili değişken ve nasıl bu koşullar altında doğrusal işlevin özelliklerini kontrol emin değilim. Sanırım ayrı sorular sormanız mantıklı olacaktır, belki birisi size neden bu şekilde yazıldığını açıklayabilir.

— itdxer

2

Ayrıca kitabın bu parçasını takip etmeyi zor buluyorum ve itdxer'in yukarıdaki cevabı, olasılıklar ve matematik düşüncesiyle düzgün bir şekilde akıcı olmayan biri için de anlaşılması oldukça zaman alıyor. Ancak cevabı geriye doğru okuyarak yaptım, bu yüzden z'nin sigmoidiyle başlayın

\begin{aligned} P (y = 1) = \frac{e^{z}}{1 + e^{z}} = \frac{1}{1 + e^{- z}} \end{aligned}

$\begin{align} P(y=1) = \frac{e ^ z}{1 + e ^ z} = \frac{1}{1 + e ^ {-z}} \end{align}$

ve takip etmeye çalışın.

\begin{aligned} \log \tilde{P} (y) & = y z \end{aligned}

$\begin{align} \log\tilde P(y) &= yz \end{align}$

O zaman açıklamaya neden yz ile başladıkları mantıklı - tasarımla, finalle aynı

\begin{aligned} σ ((2 y - 1) z) \end{aligned}

$\begin{align} \sigma((2y-1)z) \end{align}$

yapı ile Bernoulli altında y'nin tek olası değerleri olan y = 0 için -1 ve y = 1 için 1 elde edilmesini sağlar.

— Jakub Jurek
kaynak

0

Ölçü teorik geçmişi olanlara hitap edecek daha resmi bir ifade.

Let bir Bernoulli rv olabilir ve izin için pushforward ölçü, örneğin, ifade , ve izin göstermektedirler onun normalleştirilmemiş muadili. $Y$ $P_Y$ $y\in \{0,1\}$ $P_Y(y)=P(Y=y)$ $\tilde P_Y$

Aşağıdaki çıkarım zincirine sahibiz:

\begin{aligned} \log {\tilde{P}}_{Y} (y) = y z & ⟹ {\tilde{P}}_{Y} (y) = \exp (y z) \\ ⟹ P_{Y} (y) = \frac{e^{y z}}{e^{0 \cdot z} + e^{1 \cdot z}} = \frac{e^{y z}}{1 + e^{z}} \\ ⟹ P_{Y} (y) = y \frac{e^{z}}{1 + e^{z}} + (1 - y) \frac{1}{1 + e^{z}} \\ ⟹ P_{Y} (y) = y σ (z) + (1 - y) σ (- z) \\ ⟹ P_{Y} (y) = σ ((2 y - 1) z) \end{aligned}

$\begin{aligned} \log \tilde P_Y(y)=yz &\implies \tilde P_Y(y) = \exp(yz)\\ &\implies P_Y(y) = \frac{e^{yz}}{e^{0\cdot z}+e^{1\cdot z}}=\frac{e^{yz}}{1+e^{ z}}\\ &\implies P_Y(y) =y\frac{e^{z}}{1+e^{ z}} + (1-y)\frac{1}{1+e^{ z}}\\ &\implies P_Y(y) =y\sigma(z) + (1-y)\sigma(-z)\\ &\implies P_Y(y) = \sigma((2y-1)z) \end{aligned}$

Son eşitlik, ile arasında eşlemenin akıllı bir yoludur $\{0,1\}$ $\{-1,1\}$

— Gabriel Romon
kaynak