Yapay Sinir Ağları: kilo değişimi momentum ve kilo kaybı

Momentum , ardışık yinelemelere göre ağırlık değişimlerindeki dalgalanmaları azaltmak için kullanılır: $\alpha$

, bir hata fonksiyonu- ağırlıklarının vektörü- öğrenme oranı.

Δ ω_{ben} (t + 1) = - η \frac{\partial E}{\partial w_{ben}} + α Δ ω_{ben} (t),

$\Delta\omega_i(t+1) = - \eta\frac{\partial E}{\partial w_i} + \alpha \Delta \omega_i(t),$

E (w)

$E({\bf w})$

w

${\bf w}$

η

$\eta$

Ağırlık azalması , ağırlık değişikliklerini cezalandırır: $\lambda$

Δ ω_{ben} (t + 1) = - η \frac{\partial E}{\partial w_{ben}} - λ η ω_{ben}

$\Delta\omega_i(t+1) =- \eta\frac{\partial E}{\partial w_i} - \lambda\eta\omega_i$

Soru, geri yayılma sırasında her iki numarayı birleştirmenin mantıklı olup olmadığı ve bunun nasıl bir etkisi olacağıdır

Δ ω_{ben} (t + 1) = - η \frac{\partial E}{\partial w_{ben}} + α Δ ω_{ben} (t) - λ η ω_{ben}

$\Delta\omega_i(t+1) = - \eta\frac{\partial E}{\partial w_i} + \alpha \Delta \omega_i(t) - \lambda\eta\omega_i$

— Oleg Shirokikh
kaynak

Ωi (t + 1) = ωi - η∂E / ∂wi + αΔωi (t) yerine ωi (t + 1) = ωi - η ∂E / ∂wi + αΔωi (t) demek mi istiyorsun?

— hakunamatata

Evet, her iki numarayı da kullanmak çok yaygın. Farklı sorunları çözerler ve birlikte iyi çalışabilirler.

Bunu düşünmenin bir yolu, ağırlık azalmasının optimize edilmiş fonksiyonu değiştirdiği , momentum ise aldığınız yolu optimum seviyeye getirdiğidir .

Ağırlık azalması, katsayılarınızı sıfıra doğru daraltarak, küçük büyüklük parametreleriyle yerel bir optimum bulmanızı sağlar. Bu, fazla giydirmekten kaçınmak için çok önemlidir (ancak ağırlıklar üzerindeki diğer kısıtlamalar da işe yarayabilir). Bir yan fayda olarak, nesnel işlevi daha dışbükey yaparak modelin optimize edilmesini kolaylaştırabilir.

Nesnel bir işleve sahip olduğunuzda, nasıl hareket edeceğinize karar vermelisiniz. Degradedeki en dik iniş en basit yaklaşımdır, ancak dalgalanmaların büyük bir problem olabileceği konusunda haklısınız. Momentum eklemek bu sorunu çözmenize yardımcı olur. Toplu güncellemelerle çalışıyorsanız (genellikle sinir ağları ile kötü bir fikirdir) Newton tipi adımlar başka bir seçenektir. Yeni "sıcak" yaklaşımlar Nesterov'un hızlandırılmış gradyanına ve "Hessian-Free" optimizasyonuna dayanıyor.

Ama ne olursa olsun bu güncelleme kurallarının hangi sen (ivme, Newton, vs.) kullanmak, hala hata fonksiyonu ile belirlenir aynı amaç fonksiyonu, birlikte çalışıyoruz (örneğin kare hatası) ve diğer kısıtlamalar (örneğin ağırlık çürüme) . Bunlardan hangisinin kullanılacağına karar verirken asıl soru, iyi bir ağırlık setine ne kadar çabuk gideceğinizdir.

— David J. Harris
kaynak

“Amaç işlevi daha dışbükey hale getirerek modelin optimize edilmesini kolaylaştırabilir” - lütfen daha küçük ağırlıkların bunu nasıl mümkün kıldığını açıklayabilir misiniz?

— Alex,

s i n (x)

$\mathrm{sin}(x)$

a x^{2}

$a x^2$

a

$a$

Güzel cevap, teşekkürler. Peki ya Adam Doktoru? Ağırlık azalması ve momentum kombinasyonunun daha iyi performans göstermesi mi?

— A. Piro,

Adem momentum gibidir, fakat ağırlık azalması gibi değildir; Amaç işlevinde nasıl gezintiğinizi etkiler, ancak amaç işlevinin kendisinde değil.

— David J. Harris,