Neden her zaman ADAM optimizasyon tekniğini kullanmıyorsunuz?

13

Öyle görünüyor Adaptif Moment Tahmini (Adam) iyileştirici hemen her zaman (daha hızlı ve daha güvenilir bir global minimum ulaşan) sinir ağları eğitimi maliyet fonksiyonunu minimize zaman daha iyi çalışır.

Neden her zaman Adem'i kullanmıyorsunuz? Neden RMSProp veya momentum optimize edicileri kullanmaktan rahatsız oluyorsunuz?

neural-network optimization

— PyRsquared
kaynak

1

Her iki ifadeyi de desteklemek için katı ve resmileştirilmiş bir yol olduğuna inanmıyorum. Hata yüzeyi bilinmediğinden tamamen ampiriktir. Genel bir kural olarak ve tamamen m deneyiminden, ADAM, dezavantajları olmasa da (yakınsama tekdüze değildir) başkalarının başarısız olduğu yerlerde iyi olur (örnek segmentasyonu)

— Alex

2

Adam yakınlaşmak için daha hızlı. SGD daha yavaştır ancak daha iyi genelleme yapar. Sonuçta her şey sizin özel koşullarınıza bağlıdır.

— agcala

13

İşte SGD'nin ADAM'dan daha iyi bir genelleştirilmiş adaptör olduğunu iddia eden bir makaleyi inceleyen bir blog yazısı. https://shaoanlu.wordpress.com/2017/05/29/sgd-all-which-one-is-the-best-optimizer-dogs-vs-cats-toy-experiment/

Çoğu zaman birden fazla yöntem (topluluk) kullanmanın bir değeri vardır, çünkü her yöntemin bir zayıflığı vardır.

— Christopher Klaus
kaynak

5

Ayrıca farklı gradyan iniş optimize edicileri karşılaştırarak bu yazıya da göz atmalısınız . Aşağıda görebileceğiniz gibi Adam, bazı görevler için en iyi optimizasyon aracı değildir.

Sadece kayıt için: Bağlantılı makalede ADAM'ın bazı kusurlarından bahsediyorlar ve AMSGrad'ı bir çözüm olarak sunuyorlar. Bununla birlikte, AMSGrad'ın uygulamalarda ADAM'den daha iyi performans gösterip göstermediği (yazma sırasında) kesin değildir.

— Lus