Birisi geri yayılma algoritmasını açıklayabilir mi? [çiftleme]

13

Geri yayılma algoritması nedir ve nasıl çalışır?

algorithms optimization neural-networks

— Ben miyim
kaynak

1

Ben bu soruya birlikte cevap koymak burada kimse (ben Repost istemiyordu) ilgileniyor eğer.

— Phylliida

14

Geri yayılma algoritması, bir nöral ağ modelinin yerleştirilmesi için bir gradyan iniş algoritmasıdır. (@Dikran tarafından belirtildiği gibi) Nasıl olduğunu açıklayayım.

Biçimsel olarak: Bu yazının sonunda gradyanın hesaplanması aşağıdaki [1] denklemi içinde (gradyan inişinin tanımıdır) bir gradyan inişinin kullanımının özel bir durumu olarak geri yayılma algoritmasını verir.

Sinir ağı modeli Resmi olarak, basit bir tek katmanlı model ile fikirleri düzeltiriz:

burada ve ile bilinen tüm ,

f (x) = g ({bir}^{1} (s ({bir}^{2} (x))))

$f(x)=g(A^1(s(A^2(x))))$

g : R \to R

$g:\mathbb{R} \rightarrow \mathbb{R}$

s : R^{M} \to R^{M}

$s:\mathbb{R}^M\rightarrow \mathbb{R}^M$

m = 1 \dots, M

$m=1\dots,M$

ve

s (x) [m] = σ (x [m])

$s(x)[m]=\sigma(x[m])$

,

bilinmeyen afin çalışır. Fonksiyon

sınıflandırma çerçevesinde aktivasyon fonksiyonu olarak adlandırılır.

A^{1} : R^{M} \to R

$A^1:\mathbb{R}^M\rightarrow \mathbb{R}$

A^{2} R^{p} \to R^{M}

$A^2\mathbb{R}^p\rightarrow \mathbb{R}^M$

σ : R \to R

$\sigma:\mathbb{R}\rightarrow \mathbb{R}$

Fikirleri düzeltmek için ikinci dereceden bir Kayıp fonksiyonu alınır. Dolayısıyla giriş $(x_1,\dots,x_n)$ vektörler gerçek çıkış takılabilir arasında : Ampirik kaybını en aza indirerek (vektör olabilir) $\mathbb{R}^p$ $(y_1,\dots,y_n)$ $\mathbb{R}$ seçimi ile ilgili olarak ve .

{R,}_{n} ({bir}^{1}, {bir}^{2}) = Σ_{ben = 1}^{n} (y_{ben} - f (x_{ben}))^{2} [1]

$\mathcal{R}_n(A^1,A^2)=\sum_{i=1}^n (y_i-f(x_i))^2\;\;\;\;\;\;\; [1]$

A^{1}

$A^1$

A^{2}

$A^2$

Gradyan iniş bir eğimi iniş en aza indirmek için bir algoritma olduğu yineleme: iyi seçilmiş adım boyutları için (aynı zamanda öğrenme oranı geri yayılma çerçevesinde). gradyanının hesaplanmasını gerektirir. Dikkate alınan durumda $\mathcal{R}$

{bir}_{l + 1} = {bir}_{l} - γ_{l} \nabla R, ({bir}_{l}), l \geq 0.

$\mathbf{a}_{l+1}=\mathbf{a}_l-\gamma_l \nabla \mathcal{R}(\mathbf{a}_l),\ l \ge 0.$

(γ_{l})_{l}

$(\gamma_l)_l$

R

$\mathcal{R}$

.

a_{l} = (A_{l}^{1}, A_{l}^{2})

$\mathbf{a}_l=(A^1_{l},A^2_{l})$

gradyanı $\mathcal{R}$ (basit kabul edilen nöral ağ modeli için) $\nabla_1 \mathcal{R}$ $\mathcal{R}$ $A^1$ $\nabla_2\mathcal{R}$ $\mathcal{R}$ $A^2$ $z_i=A^1(s(A^2(x_i)))$

\nabla_{1} R, [1 : M] = - 2 x Σ_{ben = 1}^{n} z_{ben} g^{'} (z_{ben}) (y_{ben} - f (x_{ben}))

$\nabla_1 \mathcal{R}[1:M] =-2\times \sum_{i=1}^n z_i g'(z_i) (y_i-f(x_i))$

m = 1, \dots, M

$m=1,\dots,M$

\nabla_{2} R, [1 : p, m] = - 2 x Σ_{ben = 1}^{n} x_{ben} g^{'} (z_{ben}) z_{ben} [m] σ^{'} ({bir}^{2} (x_{ben}) [m]) (y_{ben} - f (x_{ben}))

$\nabla_2 \mathcal{R}[1:p,m] =-2\times \sum_{i=1}^n x_i g'(z_i) z_i[m]\sigma'(A^2(x_i)[m]) (y_i-f(x_i))$

$x[a:b]$ $x$ $a$ $b$

— robin girard
kaynak

11

Geri-propogasyon, hata fonksiyonunun ağırlıklara göre türevini çıkarmanın bir yoludur, böylece model gradyan iniş optimizasyon yöntemleri ile eğitilebilir - temel olarak sadece "zincir kuralı" nın uygulanmasıdır. Bundan daha fazlası yok, bu yüzden temelde ona bakmak için en iyi yol olan kalkülüs ile rahatsanız.

Eğer analizden memnun değilseniz, çıktı birimlerinin ne kadar kötü performans gösterdiğini bildiğimizi söylemenin daha iyi bir yolu olacaktır, çünkü gerçek çıktıyı karşılaştırmak için istenen bir çıktıya sahibiz. Ancak gizli birimler için istenen bir çıktıya sahip değiliz, o zaman ne yapacağız? Geri yayılma kuralı temel olarak çıkış birimlerinin gizli birimlere hatası nedeniyle suçu ortadan kaldırmanın bir yoludur. Gizli bir birimin belirli bir çıktı birimi üzerinde etkisi ne kadar fazla olursa, hata için o kadar fazla suçlama olur. Gizli bir birimle ilişkili toplam suçlama, daha sonra, girişten gizli katman ağırlıklarının ne kadar değişmesi gerektiğine dair bir gösterge verir. Ne kadar suçun geri alınacağını yöneten iki şey, gizli ve çıktı katmanı ağırlıklarını (açıkça) bağlayan ağırlık ve gizli birimin çıktısıdır (fısıldamak yerine bağırıyorsa, daha büyük bir etkiye sahip olması muhtemeldir). Gerisi sadece bu sezgiyi eğitim kriterinin türevine dönüştüren matematiksel inceliklerdir.

Ayrıca uygun bir cevap için Bishops kitabı tavsiye ederim! ;Ö)

— Dikran Keseli
kaynak

2

İleri beslemeli çok katmanlı sinir ağlarını (çok katmanlı algılayıcılar) eğitmek için bir algoritmadır. Web'de neler olduğunu gösteren birkaç güzel java uygulaması var, bunun gibi: http://neuron.eng.wayne.edu/bpFunctionApprox/bpFunctionApprox.html . Ayrıca, Bishop'un NN'lerle ilgili kitabı, NN'lerle ilgili her şey için standart masa referansıdır.

— Stephen Turner
kaynak

Sorular ve cevaplar şeklinde yüksek kaliteli istatistiksel bilgilerin kalıcı bir havuzunu oluşturmaya çalışırken, yalnızca bağlantı yanıtlarından kaçınmaya çalışırız . Mümkünse, belki bağlantıdaki bilgilerin bir özetini vererek bunu genişletebilir misiniz?

— Glen_b