Yapay sinir ağlarında düzenleyici yöntem seçme

Sinir ağlarını eğitirken, ağı düzenli hale getirmenin en az 4 yolu vardır:

Sinir ağlarındaki düzenlenme türleri arasında karar vermenize yardımcı olacak güçlü, iyi belgelenmiş ilkeler yoktur. Düzenleme tekniklerini bile birleştirebilirsiniz, sadece bir tane seçmek zorunda değilsiniz.

Uygulanabilir bir yaklaşım, deneyime ve farklı sorun alanlarında neyin iyi sonuçlar verdiğini görmek için literatür ve diğer insanların sonuçlarını takip etmeye dayanabilir. Bunu akılda tutarak, bırakma, çok çeşitli sorunlar için çok başarılı oldu ve muhtemelen ne denediğinizden bağımsız olarak iyi bir ilk seçenek olarak düşünebilirsiniz.

Ayrıca bazen sadece bildiğiniz bir seçeneği seçmek yardımcı olabilir - anladığınız ve deneyimlediğiniz tekniklerle çalışmak, bir parametre için hangi büyüklük sırasını denemek istediğinizden emin olmadığınız farklı seçeneklerden oluşan bir kepçe torbasını denemekten daha iyi sonuçlar elde edebilir. . Önemli bir sorun, tekniklerin diğer ağ parametreleriyle etkileşime girebilmesidir - örneğin, bırakma yüzdesine bağlı olarak bırakma ile katmanların boyutunu artırmak isteyebilirsiniz.

Son olarak, hangi regülasyon tekniklerini kullandığınız önemli değildir, sadece probleminizi anlarsınız ve aşırı uyduğunda ve daha düzenli hale getirmede ne zaman yapabileceğinizi yeterince iyi modellersiniz. Ya da tam tersi, uygun olmadığında ve düzenlileştirmeyi ölçeklendirmeniz gerektiğinde tespit edin.

Düzenleme yöntemi

Aşağıdaki 4 teknik için, L1 Düzenlemesi ve L2 Düzenlemesi, bir düzenleme yöntemi olması gerektiğini söylemek gereksizdir. Ağırlığı daraltırlar. L1, ağırlıklar daha yüksek önem taşıyorsa, daha az miktarda ağırlık çekmeye odaklanacaktır.

Bırakma, nöronları geçici olarak bırakarak aşırı sığmayı önler. Sonunda, tüm ağırlıkları ortalama olarak hesaplar, böylece ağırlık belirli bir nöron için çok büyük olmaz ve bu nedenle bir düzenlileştirme yöntemidir.

Parti Normalizasyonu bir düzenlileştirme yöntemi olmamalıdır, çünkü asıl amacı bir parti seçerek ve ağırlığı 0'a yakın, çok büyük değil, çok küçük değil, dağıtılacak şekilde zorlayarak eğitimi hızlandırmaktır.

Seçmek

Benim için mini seri şart çünkü süreci hızlandırabilir ve her seferinde ağın performansını artırabilir.

L1 ve L2'nin her ikisi de benzerdir ve küçük ağda L1'i tercih ederim.

İdeal olarak, büyük bir varyasyon problemi veya aşırı uyum varsa, bırakma uygulanmalıdır.

Son olarak, Neil Slater ile durumun duruma bağlı olduğu ve asla optimum bir çözüm olmayacağına katılıyorum.

Daha fazla bilgi için bunu okumanızı tavsiye ederim. Bu çok iyi bir malzemedir. http://neuralnetworksanddeeplearning.com/chap3.html

Bu algoritmik seçimlere ek hiperparametreler olarak bakın ve diğer hiperparametreler için yaptığınız gibi optimize edin. Genellikle bu daha fazla veri gerektirir.