«relu» etiketlenmiş sorular

ReLU, sigmoid veya tanhtanh\tanh. Aktivasyon fonksiyonlarını karıştırdığımda ne olur? Kısa süre önce Google'ın (x * sigmoid) Swish etkinleştirme işlevini geliştirdiğini buldum. Aktivasyon fonksiyonunu değiştirerek XOR problemi gibi küçük sinir ağ problemlerinde doğruluğu artırabilir mi?

10 neural-networks  machine-learning  activation-function  relu  sigmoid 

Bence ReLU yerine Leaky ReLU kullanmanın avantajı, bu şekilde yok olan bir eğime sahip olamayız. Parametrik ReLU, negatif girişler için çıkışın eğiminin öğrenilebilir bir parametre olmasıyla aynı avantaja sahiptir, ancak Leaky ReLU'da bir hiperparametredir. Ancak, Leaky ReLU veya Parametric ReLU yerine ReLU'nun kullanılmasının daha uygun olduğu durumlar olup olmadığını söyleyemiyorum.

10 neural-networks  activation-function  relu