«adam» etiketlenmiş sorular

Tensorflow kodlarının çoğunda, Adam Optimizer’ın sabit bir Öğrenme Hızı 1e-4(yani 0.0001) ile kullanıldığını gördüm . Kod genellikle aşağıdakilere bakar: ...build the model... # Add the optimizer train_op = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy) # Add the ops to initialize variables. These will include # the optimizer slots added by AdamOptimizer(). init_op = tf.initialize_all_variables() # …

53 neural-networks  deep-learning  gradient-descent  tensorflow  adam 

Sinir ağlarını eğitmek için temel degrade iniş algoritmalarına aşinayım. Adam: ADAM: STOKASTİK OPTİMİZASYON İÇİN BİR YÖNTEM öneren makaleyi okudum . Kesinlikle en azından bazı görüşlere sahip olmama rağmen , kağıt benim için genel olarak çok yüksek görünüyor. Örneğin, bir maliyet fonksiyonu çoğu zaman birçok farklı fonksiyonun toplamıdır, bu nedenle değerini …

44 neural-networks  optimization  gradient-descent  adam 

Deep Learning için Adam optimizerini okuyordum ve Bengio, Goodfellow ve Courville tarafından yazılan Deep Learning adlı yeni kitapta şu cümleyi okudum: Adam genel olarak hiper parametrelerinin seçimine oldukça sağlam olarak kabul edilir, ancak öğrenme oranının bazen önerilen varsayılan değerden değiştirilmesi gerekir. eğer bu doğruysa, bu büyük bir sorun çünkü hiper …

24 neural-networks  deep-learning  optimization  hyperparameter  adam 

İ) SGD ve ii) Adam Optimizer kullanarak bir sinir ağı eğitimi alıyorum. Normal SGD kullanırken, aşağıda görüldüğü gibi (kırmızı olan) iterasyon eğrisine karşı pürüzsüz bir eğitim kaybı yaşarım . Ancak, Adam Optimizer'ı kullandığımda, eğitim kaybı eğrisinde bazı artışlar var. Bu ani yükselişlerin açıklaması nedir? Model Detayları: 14 giriş düğümü -> …

16 neural-networks  deep-learning  adam 

Derin Öğrenme için Adam optimizer hakkında okuyordum ve Begnio, Goodfellow ve Courtville'in yeni Deep Learning kitabında şu cümle ile karşılaştım: Adam, başlangıç ​​noktasındaki başlangıçlarını hesaplamak için hem birinci dereceden momentlerin (momentum terimi) hem de (merkezsiz) ikinci dereceden momentlerin tahminlerine önyargı düzeltmeleri içerir. bu önyargı düzeltme terimlerini dahil etmenin temel nedeni, …

15 machine-learning  neural-networks  optimization  conv-neural-network  adam 

RMSProp, Adam ve SGD ile ağları kullanarak EMNIST doğrulama seti üzerinde deneyler yapıyorum. SGD (öğrenme oranı 0.1) ve bırakma (0.1 bırakma probu) ile L2 düzenlenmesi (1e-05 cezası) ile% 87 doğruluk elde ediyorum. RMSProp ve Adam ile aynı yapılandırmayı ve 0.001 başlangıç ​​öğrenme oranını test ederken,% 85 doğruluk ve daha az …

12 machine-learning  optimization  sgd  adam