RMSProp, Adam ve SGD ile ağları kullanarak EMNIST doğrulama seti üzerinde deneyler yapıyorum. SGD (öğrenme oranı 0.1) ve bırakma (0.1 bırakma probu) ile L2 düzenlenmesi (1e-05 cezası) ile% 87 doğruluk elde ediyorum. RMSProp ve Adam ile aynı yapılandırmayı ve 0.001 başlangıç öğrenme oranını test ederken,% 85 doğruluk ve daha az pürüzsüz bir eğitim eğrisi elde ediyorum. Bu davranışı nasıl açıklayacağımı bilmiyorum. Egzersiz eğrisinde düzgünlük eksikliğinin ve elde edilen daha düşük doğruluk ve daha yüksek hata oranlarının arkasındaki neden ne olabilir?
Bu ağa bağlıdır. Bize ağla ilgili ayrıntıları gösterebilir misiniz? Ayrıca öğrenme eğrileri sağlayabilir misiniz?
—
Memming
Bu, 5 katmana sahip (her katmandaki Bırakma, Afin, ELU) bir ağdır: 150 gizli boyut, kullanılan ELU aktivasyon fonksiyonu, SGD için 0,1 öğrenme oranı, RMS ve Adam için 0,001 öğrenme oranı, 1e ile L2 düzenlenmesi -05 ceza, 0,1 hariç tutma olasılığı ile bırakma.
—
Alk
Ve "tam olarak aynı konfigürasyon ... 0,001 başlangıç öğrenme oranı" dediğinizde, farklı bir öğrenme oranı kullandığınız anlamına mı geliyorsunuz yoksa iki deney yaptınız mı? Hangi parametrelerin varsayılan olarak neye ayarlandığına bağlı olarak kullandığınız gerçek yazılıma bağlı olabilir.
—
Wayne
Bu yüzden SGD için 0.1 ve hem Adam hem de RMSProp için 0.001 kullandım. Çünkü Adam ve RMSProp'u 0.1 öğrenme oranıyla çalıştırdığımda, her ikisi de% 60 doğrulukla kötü performans gösterdi. Ayrıca, Adam hakkındaki makalede 0.001 önerilen değerdir.
—
Alk
Öğrenme eğrilerini ve test veya egzersiz verilerindeki hatayı ölçüp ölçmediğinizi göndermelisiniz.
—
Jakub Bartczuk