Sinir ağındaki bir nöronun aktive olması ne anlama gelir?

Sadece nöron ağındaki aktif nöronların ve toplam nöronların oranı olan nöron kapsamı kavramına rastladım. Peki, bir nöronun "aktive edilmesi" ne demektir? Aktivasyon fonksiyonlarının ne olduğunu biliyorum, ancak örneğin ReLU veya sigmoid fonksiyonda aktive olmak ne anlama geliyor?

Bir nöronun çıkışı, genellikle 0 olmak üzere bir eşik değerinden fazla olduğunda aktif olduğu söylenir.

Örneğin :

$$\begin{equation} y = Relu(a) > 0 \end{equation}$$ ne zaman $$\begin{equation} a = w^Tx+b > 0 \end{equation}$$

Aynı şey sigmoid veya diğer aktivasyon fonksiyonları için de geçerlidir.

"Aktif" terimi çoğunlukla, aktivasyon fonksiyonuna giriş belirli bir eşik değerden daha büyük olduğunda sadece bir değer (0 hariç) veren aktivasyon fonksiyonları hakkında konuşurken kullanılır.

Özellikle ReLU tartışılırken "aktif" terimi kullanılabilir. ReLU, çıkışı 0'dan büyük olduğunda "etkinleştirilir", yani girişi 0'dan büyük olduğunda da etkinleştirilir.

Sigmoid gibi diğer etkinleştirme işlevleri her zaman 0'dan büyük bir değer döndürür ve özel bir eşik değeri yoktur. Bu nedenle, "aktif" terimi burada daha az anlam taşımaktadır.

Onlar hakkında çok az şey bilmemize rağmen, beyindeki nöronların bir tür "aktivasyon eşiği" ile aktivasyon fonksiyonuna benzeyen bir şeyleri var gibi görünüyor.