Darbeli sinir ağlarının uygulamalarda kullanılmasında ne durmaktadır?

Darbeli veya Spiking sinir ağları, biyolojik nöronların membran dinamiklerini daha fazla içerir, burada darbeler bir sonraki katmana bilgi taşır. Nöronların, örneğin bir backpropta olduğu gibi, aynı anda "ateşlemesi" zorunlu değildir.

Yine de, bu modelleri makine öğrenimi sorunları için kullanmaya karşı engeller var gibi görünüyor. Biyolojik olarak daha gerçekçi modelleri kullanan makine öğrenen uygulayıcıların önünde hangi belirli konular var?

Asıl mesele, beynin nasıl çalıştığını kimse bilmiyor :)

teori

Anlayabildiğim kadarıyla, sinir ağı araştırmalarında üç büyük adım var:

1. Herhangi bir boolean fonksiyonunun, tek bir gizli katmana sahip bazı çok katmanlı algılayıcı tarafından hesaplanabildiği Perceptron (veya, eşik geçidi) modeli.
2. Nöron modeli - ağ elemanlarının sigmoid aktivasyon fonksiyonunu kullandığı öncekinin geliştirilmiş versiyonu (olası giriş ve çıkışların sürekli seti). Ayrıca herhangi bir boolean fonksiyonunu (bir eşik uyguladıktan sonra) hesaplayabilir ve ayrıca herhangi bir sürekli fonksiyona yaklaşabilirler.
3. Ağ elemanları arasında bilgi aktarmak için "zamansal kodlama" kullanan Spiking nöronlar modeli. Önceki modelin yaptığı her şeyi yapabilir ve genellikle daha az nöronla yapabilir.

Temel olarak, buradaki evrim insan beyninin nasıl çalıştığına yaklaşmaktır ve son model en iyi sadakate sahiptir.

Uygulama

SNN'ler çok ümit vaat ediyor ve üzerine inşa edilmiş ortak bir ürün SpikeNET bile var ("SpikeNET'in yapabilecekleri" ve "SpikeNET henüz yapamayanlar" altında karşılaştıkları sorunları görebilirsiniz).

Spiking ağları ile ilgili belirli konulardan bahsedemiyorum - ancak genel olarak, insanların SNN'lerin bir insan beyni gibi daha fazla çalışmasını istedikleri için sorunların ortaya çıktığı izlenimine sahibim:

• Bilgilerin nasıl kodlanacağını seçmek istiyorlar - gecikme kodlaması (daha yüksek uyarılmış nöronlar daha sık ve daha erken başlamaya eğilimlidir ), ikili kodlama (bilgi, belirli bir zaman aralığında sivri sayısı ile temsil edilir), zaman kodlaması ile yapılabilir (bilgi, ayırt edilebilir zaman aralığının ayrıntı düzeyinin tersidir), sıra sırası kodlaması (bir nöron tarafından alınan ilk artışlara etki verilir ve daha sonra olanlar engellenir) ve ne olursa olsun.
• her iki nöron da "açık" (veya her ikisi de "kapalı") olduğunda nöronlar arasındaki ağırlıkları artıran İbranice plastisiteyi taklit ederler.
• bir grup nöronun, diğer nöronların tepkisini inhibe eden kazanan nöronla rekabet ettiği kendi kendine organizasyon uygularlar. Spiking nöronu ile kazanan sadece tek ateşleme olaylarına göre hızlı bir şekilde hesaplanabilir.

Vikipedi, "Nabız Kodlu Sinir Ağlarının Uygulama Sorunları" bölümüne sahip "Darbeli Sinir Ağları" kitabına bir bağlantı içerir, ancak bu konuda yorum yapacak kadar eğitimli değilim.

Konuya giriş için şu makaleyi öneriyorum: Darbeli Sinir Ağları ve Uygulamaları ( pdf )

tüm sinir ağı algoritmalarının eğitim algoritmalarında bir çeşit eğim alçalması ve hatta YSA olmayan modeller bile eğim alçalması kullandıkları görülmektedir. degrade inişin SNN'lere göre geçici olarak nasıl uygulanacağı hakkında hiçbir teori yok gibi görünüyor. bir olasılık yükselmenin bir nöromorfik bilgisayar kullanımları biyolojik olarak daha gerçekçi modeller SNNs similiar. ancak el yazısı tanıma, konuşma tanıma, nesne tanıma, dil çevirisi gibi birçok standart ML probleminde YSA'larla elde edilen çok kesin kıyaslamalarda olduğu gibi bugüne kadar nöromorfik alanda elde edilen güçlü makine-öğrenme kriterleri / atılımları yok gibi görünüyor.