Öğrenme hızı ve gizli katman sayısı arasındaki ilişki?

Sinir ağının derinliği ile öğrenme hızı arasında temel bir kural var mı? Ağ ne kadar derin olursa, öğrenme oranının o kadar düşük olması gerektiğini fark ettim.

Bu doğruysa, neden böyle?

Bu soru burada cevaplandı:

Sinir ağlarında, öğrenme hızı bir şekilde gizli katman boyutlarıyla orantılı mı olmalıdır? Birbirlerini etkilemeli mi?

Kısa cevap evet, bir ilişki var. İlişki bu önemsiz olmasa da, size söyleyebileceğim tek şey, gizli katmanların sayısı arttıkça optimizasyon yüzeyinin daha karmaşık hale gelmesidir, bu nedenle daha küçük öğrenme oranları genellikle daha iyidir. Yerel minimada sıkışmak düşük öğrenme oranı ile bir olasılık olsa da, karmaşık yüzey ve yüksek öğrenme oranından çok daha iyidir.