İnsan beyni hangi aktivasyon fonksiyonunu kullanır?

İnsan beyni belirli bir aktivasyon işlevi kullanıyor mu? Biraz araştırma yapmayı denedim ve sinyalin bir nörondan gönderilip gönderilmemesi için bir eşik olduğundan, ReLU'ya çok benziyor. Ancak, bunu doğrulayan tek bir makale bulamıyorum. Yoksa daha çok bir adım fonksiyonuna benziyor mu (giriş değeri yerine eşiğin üstünde ise 1 gönderir).

Okuduğunuz şey, aksiyon potansiyeli olarak bilinir . Bir nöron içinde bilginin nasıl aktığını yöneten bir mekanizmadır.

Şöyle çalışır: Nöronlar, hücre içinde ve dışında bir voltaj farkı olan bir elektrik potansiyeline sahiptir. Ayrıca varsayılan bir dinlenme potansiyeline ve bir aktivasyon potansiyeline sahiptir. Nöron, yalnız bırakılırsa dinlenme potansiyeline doğru hareket etme eğilimindedir, ancak dendritlerden gelen elektrik aktivasyonları elektrik potansiyelini değiştirebilir.

Nöron, elektrik potansiyelinde (aktivasyon potansiyeli) belirli bir eşiğe ulaşırsa, tüm nöron ve onun bağlantı aksonları, akson içinde bir "yayılma dalgası" ile sonuçlanan hücrenin içindeki / dışındaki iyonik değişimin zincir reaksiyonundan geçer.

TL; DR: Bir nöron belirli bir aktivasyon potansiyeline ulaştığında, elektriksel olarak boşalır. Ancak nöronun elektrik potansiyeli bu değere ulaşmazsa, nöron aktive olmaz.

İnsan beyni belirli bir aktivasyon işlevi kullanıyor mu?

Beynin farklı bölgelerindeki IIRC nöronları biraz farklı davranır ve bu sorunun nasıl ifade edildiği, nöronal aktivasyonun spesifik bir uygulaması olup olmadığını soruyormuşsunuzdur (modellemenin aksine).

Ancak genel olarak birbirlerine nispeten benzer davranırlar (Nöronlar nörokimyasallar yoluyla birbirleriyle iletişim kurar, bilgi, bir potansiyel içinde eylem potansiyeli olarak bilinen bir mekanizma yoluyla yayılır ...) Ancak neden oldukları ayrıntılar ve farklılıklar önemli olabilir.

Çeşitli biyolojik nöron modelleri vardır , ancak Hodgkin-Huxley Modeli en dikkat çekici olanıdır.

Ayrıca nöronların genel bir tanımının size nöronal dinamiklerin genel bir tanımını vermediğini unutmayın (bir ağacın anlaşılması size bir ormanın tam olarak anlaşılmasını sağlamaz).

Ancak, bilginin bir nöron içinde yayıldığı yöntem genellikle sodyum / potasyum iyonik değişim olarak iyi anlaşılır.

(Aktivasyon potansiyeli) ReLU'ya çok benziyor ...

Sadece herhangi bir şey gerçekleşmeden önce bir eşik gerektirmeleri açısından ReLU gibi. Ancak nöronlar ya hep ya hiç ise ReLU değişken çıktıya sahip olabilir.

Ayrıca ReLU (ve genel olarak diğer aktivasyon fonksiyonları) girdi alanına göre farklılaşabilir. Bu backprop için çok önemlidir.

Bu, X ekseni giriş değeri ve Y ekseni çıkış değeri olmak üzere bir ReLU işlevidir.

Ve bu, X ekseni zaman ve Y çıkış değeri olarak aksiyon potansiyelidir.

Memelilerin beyinleri bir aktivasyon fonksiyonu kullanmazlar. Sadece algılayıcıya dayalı makine öğrenme tasarımları, önceki katmandaki çıktıların vektörünü bir parametre matrisi ile çarpar ve sonucu durumsuz bir şekilde matematiksel bir işleve geçirir.

Başak toplama davranışı kısmen modellenmiş olmasına ve 1952 Hodgkin ve Huxley modelinden çok daha ayrıntılı olmasına rağmen, tüm modeller biyolojik nöronları işlevsel olarak yaklaşık hale getirmek için durum bilgisi gerektirir. RNN'ler ve bunların türevleri, algılayıcı tasarımındaki eksikliği düzeltme girişimidir.

Bu ayrımın yanı sıra, aktivasyon fonksiyonlarına toplanan sinyal gücü parametreli olmasına rağmen, geleneksel ANN'ler, CNN'ler ve RNN'ler statik olarak birbirine bağlıdır, Intel'in 2019'daki Nirvana mimarisiyle düzelteceğini iddia ettiği bir şey (ki bu silikon çağrı katmanı artık Python veya Java'da ayarlandı.

Aktivasyon mekanizmasını herhangi bir cebirsel karşılaştırmayı sorgulanabilir kılan bir skaler çıktı üreten bir skaler girişin bir fonksiyonundan daha fazla yapan en az üç önemli biyolojik nöron özelliği vardır.

• Durum nöroplastik (değişen) bağlantı olarak tutuldu ve bu sadece bir katmandaki kaç nöronun değil, aynı zamanda üç boyutta sinyal yayılımının yönü ve organize olan ağın topolojisi, ancak düzensiz bir şekilde
• 2018 itibariyle sadece kısmen anlaşılan sitoplazma ve organelleri içinde tutulan devlet
• Bir biyolojik devre yoluyla atımların, sinapslar aracılığıyla bir araya gelecek şekilde gelebileceği, ancak atımların tepe noktalarının zaman içinde rastlantısal olmadığı için, geçici bir hizalama faktörünün olması, aktivasyon olasılığı, sanki kadar yüksek değildir. geçici olarak hizalandı.

Hangi aktivasyon fonksiyonunun kullanılacağına ilişkin karar, büyük ölçüde, hangilerinin ctheonvergence'de en çok istenen hız, doğruluk ve güvenilirlik kombinasyonlarını gösterdiğini görmek için test permütasyonları ile birleştirilen teorik bir seviyede yakınsama analizine dayanmaktadır. Güvenilirlik, giriş senaryolarının çoğunda küresel optimumda yakınsamaya (hata fonksiyonunun lokal minimumuna değil) ulaşılması anlamına gelir.

Bu, pratik makine öğrenimi çatalları ile biyolojik simülasyonlar ve modelleme arasındaki çatallı araştırma. İki dal, bir noktada, ani yükselme - Doğruluk - Güvenilirlik (tamamlar) ağlarının ortaya çıkmasıyla birleşebilir. Makine öğrenimi dalı, beyinlerdeki görsel ve işitsel yollar gibi biyolojikten ilham alabilir.

Her iki çatal boyunca da ilerlemeye yardımcı olmak için kullanılabilecek paralellikler ve ilişkiler var, ancak aktivasyon fonksiyonlarının şekillerini karşılaştırarak bilgi kazanmak, yukarıdaki üç fark, özellikle de zamansal hizalama faktörü ve gerçekleştirilemeyen beyin devrelerinin tüm zamanlaması ile karıştırılıyor. yinelemeler kullanılarak modellenmiştir. Beyin gerçek bir paralel bilgi işlem mimarisidir, döngülere bağlı değildir, hatta CPU ve veri yollarında zaman paylaşımı bile yapmaz.

Cevap bilmiyoruz . Oranlar, bir süre bilmeyeceğiz. Bunun nedeni, insan beyninin "kodunu" anlayamıyoruz, ne de basitçe değerleri besleyebiliyor ve sonuç alabiliyoruz. Bu, bizi test deneklerindeki giriş ve çıkış akımlarını ölçmekle sınırlandırır ve insan olan bu tür birkaç test deneğimiz oldu . Böylece aktivasyon işlevi de dahil olmak üzere insan beyni hakkında neredeyse hiçbir şey bilmiyoruz.

Soruya ilişkin yorumum 'yapay bir sinir ağında (YSA) beyinde bulunan aktivasyona en yakın hangi aktivasyon fonksiyonudur?'

Yukarıdaki cevabı kabul ederken, bir nöronun bir diras çıkardığını düşünürsem, bir ANN'deki bir nöronun akım çıkışından ziyade çıkış ateşleme hızını modelleme olarak düşünürseniz, ReLU'nun en yakın olabileceğine inanıyorum?

http://jackterwilliger.com/biological-neural-networks-part-i-spiking-neurons/