Geri yayılım algoritması için momentum terimi nasıl çalışır?

Bir sinir ağının ağırlıklarını bir momentum terimiyle backpagagation algoritmasını kullanarak güncellerken, öğrenme hızı momentum terimine de uygulanmalı mıdır?

Momentum kullanımıyla ilgili bulabildiğim bilgilerin çoğu, aşağıdaki gibi görünen denklemlere sahiptir:

$W_{i}' = W_{i} - \alpha \Delta W_i + \mu \Delta W_{i-1}$

nerede $\alpha$ öğrenme oranıdır ve $\mu$ momentum terimi.

Eğer $\mu$ terim, $\alpha$ terim sonra bir sonraki yinelemede $\Delta W$ önceki iterasyondan ağırlık üzerinde mevcut olandan daha büyük bir etkiye sahip olacaktır.

Bu momentum teriminin amacı mıdır? ya da denklem daha böyle mi görünmeli?

$W_{i}' = W_{i} - \alpha( \Delta W_i + \mu \Delta W_{i-1})$

yani. her şeyi öğrenme oranına göre ölçeklendirmek?

Backpropagation'ı bir ağda momentumla kullanma $n$ farklı ağırlıklar $W_k$ $i$-ağırlık düzeltme $W_k$ tarafından verildi

$\Delta W_k(i) = -\alpha \frac{\partial E}{\partial W_k} + \mu \Delta W_k(i-1)$ nerede $\frac{\partial E}{\partial W_k}$ kayıp wrt varyasyonu $W_k$.

Momentum hızının eklenmesi, gradyan inişindeki salınımların zayıflamasına izin verir. Bu fikrin arkasındaki geometrik fikir muhtemelen en iyi lineer durumda bir eigenspace analizi açısından anlaşılabilir. En düşük ve en büyük özdeğer arasındaki oran büyükse, matrisin koşullandırılmasından dolayı öğrenme oranı büyük olsa bile gradyan iniş yapmak yavaştır. Momentum, daha düşük ve daha büyük özdeğerlerle ilişkili özvektörler arasındaki güncellemede bazı dengeleme sağlar.

Daha fazla ayrıntı için

http://page.mi.fu-berlin.de/rojas/neural/chapter/K8.pdf