Bayes Derin Öğrenme nedir?

Bayes Derin Öğrenme nedir ve geleneksel Bayes istatistikleri ve geleneksel Derin Öğrenme ile ilişkisi nedir?

Ana kavramlar ve matematik nelerdir? Sadece parametrik olmayan bayes istatistikleri diyebilir miyim? Seminal çalışmaları ve mevcut ana gelişmeleri ve uygulamaları nelerdir?

PS: Bayesian Derin Öğrenme çok ilgi görüyor, bkz. NIPS çalıştayı.

bayesian deep-learning

— statslearner
kaynak

NIPS atölye bağlantınızdan ayrılan Yee Whye Teh, Bayesian Derin Öğrenme ile ilgili NIPS'de bir konuşma yaptı (video: https://www.youtube.com/watch?v=LVBvJsTr3rg , slaytlar: http: //csml.stats. ox.ac.uk/news/2017-12-08-ywteh-breiman-lecture/). Konuşmanın bir noktasında, Bay Bayes derin öğrenmeyi Bayesç çerçevesini derin öğrenmeden gelen fikirlere (sinir ağının ağırlıkları üzerinde bir posterior öğrenmek gibi) uygulamak ve derin Bayes öğrenmesini derin öğrenmeden fikirleri Bayes çerçevesi (derin Gauss süreçleri veya derin üstel aileler gibi). Elbette, varyasyonel otomatik kodlayıcılar gibi iki kavram arasındaki çizgiyi aşan fikirler var. Çoğu kişi Bayesian derin öğrenme derken, genellikle ikisinden biri anlamına gelir ve bu, bağlandığınız atölyedeki kabul edilen makalelere (bir önceki yılki atölye ile birlikte) yansır. Fikirler Neal'ın 90'larda sinir ağlarının Bayesçi öğrenmesi üzerine yaptığı çalışmalara geri dönerken (http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.446.9306&rep=rep1&type=pdf ) ve o zamandan bu yana yıllar geçtikten sonra çalışmalar yapılmış, muhtemelen daha önemli son makalelerden biri orijinal varyasyonlu otomatik enkoder kağıdı ( https://arxiv.org/pdf/1312.6114.pdf ).

— aleshing
kaynak

Önce geleneksel bir Bayes Sinir Ağında temel olasılık modelinin ne olduğunu iyi bir şekilde kavramanızı öneririm. Aşağıda, bazı terimler kalın yazı tipiyle yazılacaktır . Daha ayrıntılı bilgi edinmek için lütfen bu terimleri Google'a yazmayı deneyin. Bu sadece temel bir bakış. Umut ediyorum bu yardım eder.

Let en durumunu dikkate gerileme içinde ileri beslemeli sinir ağları ve bazı gösterim kurarlar.

Let en öngördürücülerin değerleri ifade giriş katmanı . Değerleri birimleri olarak iç katman ile belirtilir için, . Son olarak, çıktı katmanımız var . $(x_1,\dots,x_p) =: \left(z^{(0)}_1,\dots,z^{(0)}_{N_0}\right)$ $\left(z^{(\ell)}_1,\dots,z^{(\ell)}_{N_\ell}\right)$ $\ell=1,\dots,L-1$ $(y_1,\dots,y_k) =:\left(z^{(L)}_1,\dots,z^{(L)}_{N_L}\right)$

Ağırlıklar ve yanlılık biriminin katmanında ile belirtilir ve , sırasıyla, , ve . $i$ $\ell$ $w^{(\ell)}_{ij}$ $b^{(\ell)}_i$ $\ell=1,\dots,L$ $i=1\dots,N_\ell$ $j=1,\dots,N_{\ell-1}$

Let olması aktivasyon fonksiyonu birimi için katmanında için, ve . $g^{(\ell)}_i : \mathbb{R}^{N_{\ell-1}} \to \mathbb{R}$ $i$ $\ell$ $\ell=1,\dots,L$ $i=1\dots,N_\ell$

Yaygın olarak kullanılan aktivasyon fonksiyonları lojistik , ReLU ( pozitif kısım olarak da bilinir ) ve tanhttır .

Şimdi, , katman geçiş işlevlerini tanımlayın burada için . $\ell=1,\dots,L$

G^{(ℓ)} : R^{N_{ℓ - 1}} \to R^{N_{ℓ}} : (z_{1}^{(ℓ - 1)}, \dots, z_{N_{ℓ - 1}}^{(ℓ - 1)}) \mapsto (z_{1}^{(ℓ)}, \dots, z_{N_{ℓ}}^{(ℓ)}),

$G^{(\ell)} : \mathbb{R}^{N_{\ell-1}} \to \mathbb{R}^{N_\ell} : \left(z^{(\ell-1)}_1,\dots,z^{(\ell-1)}_{N_{\ell-1}} \right) \mapsto \left( z^{(\ell)}_1,\dots,z^{(\ell)}_{N_\ell} \right),$

z_{i}^{(ℓ)} = g_{i}^{(ℓ)} (\sum_{j = 1}^{N_{ℓ - 1}} w_{i j}^{(ℓ)} z_{j}^{(ℓ - 1)} + b_{i}^{(ℓ)}),

$z^{(\ell)}_i = g^{(\ell)}_i\!\left( \sum_{j=1}^{N_{\ell-1}} w^{(\ell)}_{ij} z^{(\ell-1)}_j + b^{(\ell)}_i\right),$

i = 1, \dots, N_{ℓ}

$i=1,\dots,N_{\ell}$

Tüm katmanlardaki tüm birimlerin ağırlık ve sapma kümesini , yani sinir ağımız katman geçiş fonksiyonlarının bileşimi ile elde edilen fonksiyon ailesi : $\theta$

θ = {w_{i j}^{(ℓ)}, b_{i}^{(ℓ)} : ℓ = 1, \dots, L; i = 1 \dots, N_{ℓ}; j = 1, \dots, N_{ℓ - 1}},

$\theta = \left\{ w^{(\ell)}_{ij},b^{(\ell)}_i : \ell=1,\dots,L \,;\, i=1\dots,N_\ell \,;\, j=1,\dots,N_{\ell-1} \right\},$

G_{θ} : R^{p} \to R^{k}

$G_\theta : \mathbb{R}^p\to\mathbb{R}^k$

G_{θ} = G^{(L)} \circ G^{(L - 1)} \circ \dots \circ G^{(1)} .

$G_\theta = G^{(L)} \circ G^{(L-1)} \circ \dots \circ G^{(1)}.$

Yukarıdaki açıklamada yer alan herhangi bir olasılık yoktur. Orijinal sinir ağı işinin amacı işlev uydurmadır .

Derin Öğrenmedeki "derin", söz konusu sinir ağlarında birçok iç tabakanın varlığını ifade eder.

Bir verilen eğitim seti , üzerinden en . Tahmini için bazı vektör için in test seti , tahmin edilen cevap basitçe olan, çözüm minimizasyon problemi için bulundu. Bu minimizasyon için altın standart , modern GPU'da bulunan paralelleştirme tesislerini kullanarak TensorFlow kütüphanesi tarafından uygulanan geri yayılımdır. $\{ (\mathbf{x}_i,\mathbf{y}_i) \in \mathbb{R}^p\times\mathbb{R}^k : i = 1,\dots,n \}$

\sum_{i = 1}^{n} ‖ y_{i} - G_{θ} (x_{i}) ‖^{2},

$\sum_{i=1}^n \lVert \mathbf{y}_i-G_\theta(\mathbf{x}_i) \rVert^2,$

θ

$\theta$

x^{*}

$\mathbf{x}^*$

G_{\hat{θ}} (x^{*})

$G_\hat{\theta}(\mathbf{x}^*)$

\hat{θ}

$\hat{\theta}$ (projeleriniz için Keras arayüzüne bakın). Ayrıca, artık bu görevleri ( TPU'lar ) kapsayan donanımlar da mevcut . Sinir ağı genel olarak aşırı parametrelendirildiğinden, aşırı sığmayı önlemek için, tarife bir tür düzenlileştirme eklenir, örneğin objektif işleve ceza gibi bir sırt toplamak veya eğitim sırasında bırakma kullanmak . Geoffrey Hinton (Derin Öğrenme Godfather) ve ortak çalışanlar bunların çoğunu icat ettiler. Derin Öğrenmenin başarı öyküleri her yerde.

80'lerin sonunda ve 90'ların başında olasılıklar Gauss olasılığı ve basit (muhtemelen basit) Gauss öncesi, ağdaki tüm ağırlıkların ve önyargıların a priori bağımsızlığını varsayarak :

L_{x, y} (θ, σ^{2}) \propto σ^{- n} \exp (- \frac{1}{2 σ^{2}} \sum_{i = 1}^{n} ‖ y_{i} - G_{θ} (x_{i}) ‖^{2}),

$L_{\mathbf{x},\mathbf{y}}(\theta,\sigma^2)\propto \sigma^{-n} \exp\left(-\frac{1}{2\sigma^2} \sum_{i=1}^n \lVert \mathbf{y}_i-G_\theta(\mathbf{x}_i) \rVert^2\right),$

π (θ, σ^{2}) \propto \exp (- \frac{1}{2 σ_{0}^{2}} \sum_{ℓ = 1}^{L} \sum_{i = 1}^{N_{ℓ}} ({(b_{i}^{(ℓ)})}^{2} + \sum_{j = 1}^{N_{ℓ - 1}} {(w_{i j}^{(ℓ)})}^{2})) \times π (σ^{2}) .

$\pi(\theta,\sigma^2) \propto \exp\left( -\frac{1}{2\sigma_0^2} \sum_{\ell=1}^L \sum_{i=1}^{N_\ell} \left( \left(b^{(\ell)}_i\right)^2 + \sum_{j=1}^{N_{\ell-1}} \left(w^{(\ell)}_{ij}\right)^2 \right) \right) \times \pi(\sigma^2).$

Bu nedenle, ağırlıklar ve yanlılıklar için marjinal öncelikler sıfır ortalama ve ortak varyans ile normal dağılımlardır . Bu orijinal ortak model, çıkarımın daha da zorlaştırılmasıyla çok daha ilgili hale getirilebilir. $\sigma_0^2$

Bayesian Derin Öğrenme, karşılık gelen posterior dağılımdan örnekleme zorluğu ile karşı karşıyadır. Bu gerçekleştirildikten sonra, posterior prediktif dağılım ile doğal olarak tahminler yapılır ve bu tahminlerde yer alan belirsizlikler tamamen ölçülür. Bayesian Derin Öğrenme'deki kutsal kâse, verimli ve ölçeklenebilir bir çözümün oluşturulmasıdır. Bu görevde birçok hesaplama yöntemi kullanılmıştır: Metropolis-Hastings ve Gibbs örneklemesi , Hamiltonian Monte Carlo ve son zamanlarda Varyasyon Çıkarımları .

Bazı başarı öyküleri için NIPS konferans videolarına göz atın: http://bayesiandeeplearning.org/

— Zen
kaynak