Girişler koşullu olarak bağımsız olduğunda hiper düzlemler verileri en iyi şekilde sınıflandırır

10

Derin Öğrenme ve Bilgi Darboğaz Prensibi adlı makalede yazarlar bölüm II A) 'da belirtilmektedir:

Tek nöronlar, yalnızca lineer olarak ayrılabilir girdileri sınıflandırır, çünkü giriş alanlarında sadece hiper düzlemler uygulayabilirler $u = wh+b$ . Girişler koşullu olarak bağımsız olduğunda hiper düzlemler verileri en iyi şekilde sınıflandırabilir.

Bunu göstermek için aşağıdakileri elde ederler. Bayes teoremini kullanarak şunları elde ederler:

$p(y|x) = \frac{1}{1 + exp(-log\frac{p(x|y)}{p(x|y')} -log\frac{p(y)}{p(y')})}$ (1)

Nerede $x$ girdi, $y$ sınıf ve $y'$ tahmin edilen sınıf (sanırım, $y'$ tanımlanmamış). Devam ederek şunları söylüyorlar:

$\frac{p(x|y)}{p(x|y')} = \prod^N_{j=1}[\frac{p(x_j|y)}{p(x_j|y')}]^{np(x_j)}$ (2)

Nerede $N$ girdi boyutu ve $n$ Emin değilim (yine her ikisi de tanımsız). Sigmoid aktivasyon fonksiyonu ile sigmoidal bir nöron göz önüne alındığında $\sigma(u) = \frac{1}{1+exp(-u)}$ ve ön aktivasyon $u$ , (2) 'ye (1) yerleştirdikten sonra optimum ağırlık değerlerini alıyoruz $w_j = log\frac{p(x_j|y)}{p(x_j|y')}$ ve $b=log\frac{p(y)}{p(y')}$ , girdi değerleri $h_j=np(x_j)$ .

Şimdi sorularıma geçelim. (2) 'yi (1)' e eklemenin optimal ağırlık ve giriş değerlerine nasıl yol açtığını anlıyorum $w,b,h$ . Ancak anlamadığım şey şudur:

(1) Bayes teoremi kullanılarak nasıl türetilir?
(2) nasıl türetilir? Nedir $n$ ? Bunun anlamı nedir? Şartlı bağımsızlıkla bir ilgisi olduğunu düşünüyorum
X'in boyutları şartlı olarak bağımsız olsa bile, kişi ölçeklendirilmiş olasılığına eşit olduğunu nasıl belirtebilir? (yani nasıl ifade edebilirsiniz $h_j=np(x_j)$ ?)

EDIT: Değişken $y$ bir ikili sınıf değişkenidir. Bundan varsayıyorum ki $y'$ "diğer" sınıftır. Bu soru 1'i çözecektir. Kabul ediyor musunuz?

bayesian neural-networks information-theory

— spurra
kaynak

Makalenin yazarı (Prof. Tishby) tarafından verilen cevaptaki işaretçilere rağmen, denklem 2'nin nereden geldiğini anlamak için uğraşıyorum. Koşullu bağımsızlık varsayımından gelen kısmı anlıyorum. Ancak, üs hakkında emin değilim

n p (x_{j})

$n p(x_j)$ - neden orada?

— IcannotFixThis

5

Kısa yazımızdaki eksik ayrıntılar için özür dileriz, ancak Olabilirlik Oranı testi ile sigmoidal nöronlar arasındaki bu ilişkiler ve bağlantılar kesinlikle yeni değildir ve ders kitaplarında bulunabilir (örn. Bishop 2006). Yazımızda, 'N' girdi boyutudur ve 'n' test örneği boyutudur (SNR'nin sqrt (n) gibi büyüdüğü varsayımı altında aslında giriş SNR'ye çevrilmiştir). Sigmoidal işleve bağlantı, sınıfın arka tarafı olarak Bayes kuralı ile yapılır. Kağıdın geri kalanındaki hiçbir şey ve 2017'deki daha yeni ve daha önemli makalemiz aslında buna bağlı değil.

Naftali Tishby

— Naftali Tishby
kaynak

2

Bunu burada açıkladığınız için teşekkürler. İlgilenen okuyucuların kaynakları arayabilmeleri için tam alıntılar yazmak bu toplulukta standart bir uygulamadır. Bunu Bishop (2006) için yapabilir misiniz?

— mkt - Monica

5

Bu, yazarların ilgilenen ikili bir değişkeniniz olduğunda geçerli olan özel bir Bayes teoremi formu kullandıkları bir model kurulumudur. Önce bu özel Bayes teoremi formunu Denklem (1) olarak türetirler ve sonra Denklem (2) 'deki durumun ağları için belirtilen doğrusal forma yönlendirdiğini gösterirler. İkinci denklemin önceki koşullardan türetilmediğine daha ziyade, ağları için kullandıkları doğrusal form için bir koşuldur .

Birinci denklemin türetilmesi: Makaledeki denklem (1) , olasılık ve önceki fonksiyonlar üzerinde çalışan standart lojistik (sigmoid) fonksiyonu açısından koşullu ilgi olasılığını çerçeveleyen Bayes teoreminin sadece bir şeklidir . alma $y$ ve $y'$ rastgele değişkenin iki ikili sonucu olmak $Y$ ve Bayes teoremini uygulayarak şunları verir:

\begin{aligned} p (y | x) = \frac{p (y, x)}{p (x)} & = \frac{p (x | y) p (y)}{p (x | y) p (y) + p (x | y^{'}) p (y^{'})} \\ = \frac{1}{1 + p (x | y^{'}) p (y^{'}) / p (x | y) p (y)} \\ = \frac{1}{1 + \exp (\log (\frac{p (x | y^{'}) p (y^{'})}{p (x | y) p (y)}))} \\ = \frac{1}{1 + \exp (- \log \frac{p (x | y)}{p (x | y^{'})} - \log \frac{p (y)}{p (y^{'})})} \\ = logistic (\log \frac{p (x | y)}{p (x | y^{'})} + \log \frac{p (y)}{p (y^{'})}) . \end{aligned}

$\begin{equation} \begin{aligned} p(y|\mathbf{x}) = \frac{p(y,\mathbf{x})}{p(\mathbf{x})} &= \frac{p(\mathbf{x}|y) p(y)}{p(\mathbf{x}|y) p(y)+p(\mathbf{x}|y') p(y')} \\[6pt] &= \frac{1}{1+ p(\mathbf{x}|y') p(y')/p(\mathbf{x}|y) p(y)} \\[6pt] &= \frac{1}{1+ \exp \Big( \log \Big( \tfrac{p(\mathbf{x}|y') p(y')}{p(\mathbf{x}|y) p(y)} \Big) \Big)} \\[6pt] &= \frac{1}{1+ \exp \Big( - \log \tfrac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} - \log \tfrac{p(y)}{p(y')} \Big)} \\[6pt] &= \text{logistic} \Bigg( \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} + \log \frac{p(y)}{p(y')} \Bigg). \\[6pt] \end{aligned} \end{equation}$

Denklem (2) 'nin ağın lienar formu için bir koşul olarak kullanılması: Yukarıda belirtildiği gibi, bu denklem önceki sonuçlardan türetilen bir şey değildir. Daha ziyade, bir yeterlidir koşul yazarlar yani kendi modelinde --- kullandıkları doğrusal forma potansiyel müşteriler, Yazarlar söyleyerek olduğunu eğer bu denklem tutar, daha sonra belli müteakip sonuçlar izleyin. Girdi vektörünü serbest bırakma $\mathbf{x} = (x_1,...,x_N)$ uzunluğa sahip olmak $N$ , Denklem (2) tutarsa, her iki tarafın logaritmasını almak:

\begin{aligned} \log \frac{p (x | y)}{p (x | y^{'})} & = \log \prod_{i = 1}^{N} [\frac{p (x_{i} | y)}{p (x_{i} | y^{'})}]^{n p (x_{i})} \\ = \sum_{i = 1}^{N} n p (x_{i}) \log [\frac{p (x_{i} | y)}{p (x_{i} | y^{'})}] \\ = \sum_{i = 1}^{N} h_{i} w_{i} . \end{aligned}

$\begin{equation} \begin{aligned} \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} &= \log \prod_{i=1}^N \Big[ \frac{p(x_i|y)}{p(x_i|y')} \Big]^{n p (x_i)} \\[6pt] &= \sum_{i=1}^N n p (x_i) \log \Big[ \frac{p(x_i|y)}{p(x_i|y')} \Big] \\[6pt] &= \sum_{i=1}^N h_i w_i. \\[6pt] \end{aligned} \end{equation}$

Bu koşul altında, posterior formu elde ederiz:

\begin{aligned} p (y | x) & = logistic (\log \frac{p (x | y)}{p (x | y^{'})} + \log \frac{p (y)}{p (y^{'})}) \\ = logistic (\sum_{i = 1}^{N} h_{i} w_{i} + b), \end{aligned}

$\begin{equation} \begin{aligned} p(y|\mathbf{x}) &= \text{logistic} \Bigg( \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} + \log \frac{p(y)}{p(y')} \Bigg) \\[6pt] &= \text{logistic} \Bigg( \sum_{i=1}^N h_i w_i + b \Bigg), \\[6pt] \end{aligned} \end{equation}$

yazarların kendi ağlarında kullandıkları biçimdir. Bu, Denklemler (1) - (2) belirtmeden önce arka plan bölümünde yazarlar tarafından öne sürülen model formudur. Kağıt tanımlamıyor $n$ Bu model kurulumunda, ancak belirttiğiniz gibi, Prof Tishby'nin cevabı bunun test örneği boyutu olduğunu söylüyor. Üçüncü sorunuzla ilgili olarak, Denklem (2) gereksiniminin, $\mathbf{x}$ edilir değil şartlı bağımsız verilen $y$ .

— Ben - Monica'yı eski durumuna döndür
kaynak

Prof. Tishby (yazar) kendi cevabında şöyle diyor:

n

$n$ test örneği boyutudur. Bu yüzden eq (2) 'nin ağın doğrusal formuna ilişkin keyfi bir koşuldan çok daha zengin bir yorumu olduğunu hissettim.

— IcannotFixThis

Teşekkürler - Cevabımı bu ek bilgileri yansıtacak şekilde düzenledim.

— Ben - Monica'yı eski

4

1 için

$P(y \mid x) = \frac{P(y, x)}{P(x)}$

$= \frac{P(y,x)}{\sum_{i}P(y_{i},x)}$

Şimdi olduğu gibi $y_{i}$ ikili, bu olur:

$= \frac{P(y,x)}{P(y,x)+P(y',x)}$

$= \frac{1}{1+\frac{P(y',x)}{P(y,x)}}$

$= \frac{1}{1+exp[-log \ \frac{P(y,x)}{P(y',x)}]}$

ve oradan sadece nihai forma ulaşmak için logaritmanın özelliği (bu noktaya kadar yeterince açık olmalı, değilse bana bildirin).

— Chris Ormandy
kaynak

Girişler koşullu olarak bağımsız olduğunda hiper düzlemler verileri en iyi şekilde sınıflandırır - Neden?