4
Doğrusal aktivasyon fonksiyonu, sinir ağlarında kaybolan gradyan problemini nasıl çözer?
Rektifiye doğrusal ünite (ReLU) sinir ağları için kaybolma degrade sorununa bir çözüm olarak çeşitli yerlerde övgüde bulundu . Yani aktivasyon fonksiyonu olarak max (0, x) kullanılır. Aktivasyon pozitif olduğunda, bunun, sigmoid aktivasyon fonksiyonundan daha iyi olduğu açıktır, çünkü türetilmesi, büyük x için keyfi olarak küçük bir değer yerine her zaman …