«activation-function» etiketlenmiş sorular

Çıktı katmanı için aktivasyon fonksiyonunu ihtiyacım olan çıktıya ve bildiğim aktivasyon fonksiyonunun özelliklerine bağlı olarak seçiyorum. Örneğin, olasılıklarla uğraşırken sigmoid işlevini, pozitif değerlerle uğraşırken ReLU'yu ve genel değerlerle uğraşırken doğrusal bir işlevi seçerim. Gizli katmanlarda, ReLU yerine ölü nöronları ve sigmoid yerine tanh'ı önlemek için sızdıran bir ReLU kullanıyorum. Tabii …

13 neural-networks  machine-learning  math  activation-function 

ReLU, sigmoid veya tanhtanh\tanh. Aktivasyon fonksiyonlarını karıştırdığımda ne olur? Kısa süre önce Google'ın (x * sigmoid) Swish etkinleştirme işlevini geliştirdiğini buldum. Aktivasyon fonksiyonunu değiştirerek XOR problemi gibi küçük sinir ağ problemlerinde doğruluğu artırabilir mi?

10 neural-networks  machine-learning  activation-function  relu  sigmoid 

Sadece nöron ağındaki aktif nöronların ve toplam nöronların oranı olan nöron kapsamı kavramına rastladım. Peki, bir nöronun "aktive edilmesi" ne demektir? Aktivasyon fonksiyonlarının ne olduğunu biliyorum, ancak örneğin ReLU veya sigmoid fonksiyonda aktive olmak ne anlama geliyor?

10 neural-networks  ai-basics  concepts  activation-function 

Bence ReLU yerine Leaky ReLU kullanmanın avantajı, bu şekilde yok olan bir eğime sahip olamayız. Parametrik ReLU, negatif girişler için çıkışın eğiminin öğrenilebilir bir parametre olmasıyla aynı avantaja sahiptir, ancak Leaky ReLU'da bir hiperparametredir. Ancak, Leaky ReLU veya Parametric ReLU yerine ReLU'nun kullanılmasının daha uygun olduğu durumlar olup olmadığını söyleyemiyorum.

10 neural-networks  activation-function  relu