Yapay beyin ağlarından insan beyni hakkında ne öğrenebiliriz?

Sorumun / başlığımın çok belirgin olmadığını biliyorum, bu yüzden onu netleştirmeye çalışacağım:

Yapay sinir ağları nispeten katı tasarımlara sahiptir. Elbette, genel olarak, biyolojiden etkilenirler ve gerçek sinir ağlarının matematiksel bir modelini oluşturmaya çalışırlar, ancak gerçek sinir ağlarının anlayışımız kesin modeller oluşturmak için yetersizdir. Bu nedenle, gerçek sinir ağlarının "yakınına" gelen kesin modelleri ya da hiçbir şeyi kavrayamıyoruz.

Bildiğim kadarıyla, tüm yapay sinir ağları gerçek sinir ağlarından uzak. Standart, klasik tamamen bağlı MLP'ler biyolojide mevcut değildir. Tekrarlayan sinir ağları gerçek nöroplastisite eksikliğine sahiptir, bir RNN'in her nöronu aynı "geri bildirim mimarisine" sahipken, gerçek nöronlar bilgilerini tek tek kaydetmek ve paylaşırlar. Konvolüsyonel sinir ağları etkili ve popülerdir, ancak (örneğin) insan beynindeki görüntü işleme sadece birkaç katlanma katmanından oluşurken modern çözümler (GoogLeNet gibi) zaten onlarca katman kullanmaktadır ... insan performansına bile yakın değiller. Özellikle “katman başına performans” derken, gerçek sinir ağlarına kıyasla oldukça yüksek miktarda katmana ve veri azaltmaya ihtiyacımız var.

Ek olarak, bildiğim kadarıyla, modüler, kendi kendine genişleyen / kendini yeniden yapılandıran yapay sinir ağları bile, gerçek sinir ağlarının büyük ölçüde uyarlanabilirliğine kıyasla "sabit ve statik". Biyolojik nöron normalde, nöronu çok çeşitli farklı alanlara ve diğer nöronlara bağlayan binlerce dendrite sahiptir. Yapay sinir ağları çok daha "basit".

Peki yapay beyin ağlarından insan beyni / gerçek sinir ağları hakkında öğrenebileceğimiz herhangi bir şey var mı? Yoksa klasik statik algoritmalardan daha iyi performans gösteren bir yazılım yaratma girişimi midir (hatta bu algoritmaların başarısız olduğu şeyleri bile yapar)?

Birisi bu konuyla ilgili (tercihen bilimsel) kaynak sağlayabilir mi?

EDIT: Daha fazla cevap çok takdir edilmektedir (:

Bahsettiğiniz gibi, çoğu sinir ağı beynin genel basit soyutlamalarına dayanır. Sadece plastisite gibi özellikleri taklit etmekte yetersiz kalıyorlar, gerçek nöronların yaptığı gibi sinyalleri ve zamanlamayı da dikkate almıyorlar.

Özel Veriler ve Diğer Büyük Mühendislik Çabaları Yanılgıları Konusundaki Makine Öğrenmesi Maestro Michael Jordan'a özel sorunuza uygun olduğunu düşündüğüm son zamanlarda yapılan bir röportaj var ve şunu söylüyorum :

Ancak, sinirbilim ile, derin prensipleri anlamak için on yıllarca, hatta yüzlerce yıl gerekecek. Sinirbilimin en düşük seviyelerinde ilerleme var. Fakat yüksek biliş sorunları için - nasıl algıladığımız, nasıl hatırladığımız, nasıl davrandığımız - nöronların bilgiyi nasıl depoladıkları, nasıl hesapladıkları, kuralların ne olduğu, algoritmaların ne olduğu, temsillerin ne olduğu ve gibi. Bu yüzden henüz akıllı sistemlerin inşasında bize rehberlik etmek için beyin anlayışını kullanabileceğimiz bir çağda değiliz.

Çok fazla - tartışmasız hiçbir şey --- bugüne kadar yapay sinir ağlarından beyin işleyişi hakkında öğrenildi. [Açıklama: Bu cevabı makine öğreniminde kullanılan sinir ağları hakkında düşünerek yazdım; @MattKrause (+1), bazı biyolojik nöral fenomenlerin sinir ağı modellerinin birçok durumda yardımcı olabileceği konusunda haklıdır .] Ancak, bu belki de kısmen makine öğreniminde yapay sinir ağları üzerine yapılan araştırmaların az veya çok olması nedeniyle Geoffrey Hinton'un neredeyse tek elle, şu ana kadar milyarlarca doları çeken tüm alanı tek elle yeniden ele geçirdiği 2006 yılına kadar durgunluk.

Google’ın Brains, Sex ve Machine Learning (45: 30’dan itibaren) adlı bir 2012 konferansında , Hinton yapay sinir ağlarının, nöronların neden analog sinyallerle değil neden çivilerle iletişim kurduğuna dair bir ipucu sunabileceğini önerdi. Yani, sivri uçları bırakmaya benzer bir normalleştirme stratejisi olarak görmeyi önerir. Bırakma, herhangi bir degrade iniş adımında yalnızca bir ağırlık alt kümesi güncellendiğinde aşırı uyarmanın önlenmesi için geliştirilen bir yöntemdir (bkz. Srivastava ve ark. 2014 ). Görünüşe göre çok iyi çalışabiliyor ve Hinton belki de sivri uçların (yani herhangi bir anda sessiz kalan çoğu nöronlar) benzer amaca hizmet ettiğini düşünüyor.

Bir nörobilim araştırma enstitüsünde çalışıyorum ve burada Hinton'un argümanına ikna olmuş hiç kimseyi tanımıyorum. Jüri hala dışarıda (ve oldukça uzun bir süre dışarı çıkacak), ama en azından bu yapay sinir ağlarının bize beyin işleyişi hakkında potansiyel olarak öğretebilecekleri bir örnek .

İnsan beyninin sadece "birkaç" evrişimli katman kullandığı kesinlikle doğru değil. Primat beynin yaklaşık 1 / 3'ü bir şekilde görsel bilgilerin işlenmesinde rol oynar. Felleman ve Van Essen'den gelen bu diyagram, görsel beynin maymun beyninden nasıl aktığını, gözlerden başlayarak (altta RGC) ve hipokampüste bir bellek alanı ile son bulmanın kaba bir taslağını oluşturmaktadır.

Bu kutuların her biri, birkaç işleme aşaması (çoğu durumda gerçek katmanlar) içeren anatomik olarak tanımlanmış bir alandır (az ya da çok). Diyagramın kendisi 25 yaşında ve eğer bir şey varsa birkaç kutu ve daha fazla satır olduğunu öğrendik.

İse derin öğrenme bir sürü iş daha bazı yatan nöral gerçeğe dayalı daha beyne "belli belirsiz esinlenerek" olduğunu doğrudur. “Derin öğrenme” aynı zamanda “yinelenen lojistik regresyon” dan çok daha seksi bir ses çıkarmanın da avantajını sağlıyor.

Bununla birlikte, sinir ağlarının matematiksel modelleri de beyin anlayışımıza büyük katkı sağlamıştır. Bir uçta, bazı modeller bilinen biyoloji ve biyofiziği tam olarak taklit etmeye çalışır. Bunlar tipik olarak bireysel iyonlar ve bunların akışı için terimler içerir. Hatta bazıları şeklini sınırlamak için gerçek nöronların 3D rekonstrüksiyonlarını bile kullanıyorlar. Bu sizi ilgilendirirse, ModelDB'nin geniş bir model koleksiyonu ve ilgili yayınları vardır. Birçoğu ücretsiz olarak bulunan NEURON yazılımı kullanılarak gerçekleştirilir.

Altta yatan biyofizik hakkında çok fazla endişe duymadan, belirli davranışsal veya nörofizyolojik etkileri taklit etmeye çalışan daha büyük ölçekli modeller vardır. 1980'lerin ve 1990'ların sonlarında özellikle popüler olan ve şu anki bir makine öğrenim uygulamasında (örneğin biyofizik, basit aktivasyon fonksiyonları ve kalıplaşmış bağlantı yok) bulabileceğinizlere benzer modeller kullanan Bağlantılı veya Paralel Dağıtılmış İşleme modelleri; psikolojik süreçler. Bunlar biraz moda düşmüş, ancak daha güçlü bilgisayarlara ve daha iyi eğitim stratejilerine sahip olduğumuz için bir geri dönüş yapıp yapamayacağımızı merak ediyor. (Aşağıdaki düzenlemeye bakın!)

Son olarak, ortada bir yerde bazı "fenomenoloji", artı bazı biyolojik detaylar (örneğin, belirli özelliklere sahip, ancak klorür kanallarının tam dağılımını sağlamadan açıkça inhibe edici bir terim) içeren çok fazla çalışma var. Bu kategoriye giren birçok çalışma, örneğin, Xiao Jing Wang (ve diğerleri)…

EDIT : Bunu yazdığımdan beri, (gerçek) görsel sistemi, nesne tanıma görevlerinde eğitilmiş derin sinir ağlarıyla karşılaştıran bir çalışma patlaması oldu. Bazı şaşırtıcı benzerlikler var. Bir sinir ağının ilk katmanlarındaki çekirdekler, birincil görsel kortekste bulunan çekirdeklere / alıcı alanlara çok benzerdir ve sonraki katmanlar, yüksek görsel alanlardaki alıcı alanlara benzer ( örneğin , Nikolaus Kriegeskorte'nin çalışmasına bakınız ). Sinir ağlarının yeniden eğitilmesi geniş davranışsal eğitimde benzer değişikliklere neden olabilir (Wenliang ve Seitz, 2018) . DnNS'yi ve insanlar bazen --Ama her zaman değil de hataların benzer desenler açığa kavuşturabilir.

Şu anda, bunun genel olarak gerçek ve yapay sinir ağları arasındaki benzerliği, özellikle resimlerle ilgili bir şeyi [*] veya tüm çizgilerin sinir ağlarının orada olmadıklarında bile desen bulma eğilimini yansıtıp yansıtmadığı henüz net değil. Bununla birlikte, ikisini karşılaştırmak gittikçe daha sıcak bir araştırma alanı haline geldi ve bundan bir şeyler öğreneceğimiz muhtemel görünüyor.

* Örneğin, bir CNN'nin erken görsel sisteminde / ilk katmanlarında kullanılan temsil, doğal görüntüler için en uygun seyrek temelidir.

Gerçekten öğrendiğimiz şey seyrek aktivasyon ve doğrusal rektifiye aktivasyon fonksiyonlarının kullanılmasıdır. Daha sonraları temelde bir neden, neden bu tür aktivasyon fonksiyonlarını kullanmamızın sinir ağları ile ilgili aktivitede bir patlama olduğunu görmemizin sebebi, sinir ağları olarak adlandırdığımız yapay hesaplama ağları için eğitimin dramatik bir şekilde azalmasına neden oldu.

Öğrendiklerimiz, sinaps ve nöronların neden bu şekilde inşa edildikleri ve neden tercih edildikleridir. Bu doğrusal rektifiye edilmiş aktivasyon (f (x): = x> a? X: 0) seyrek aktivasyona ('nöronların' (ağırlıklar) sadece birkaçı) aktive olur.

Öyleyse, bilgimiz biyolojik işlevlere doğru uzanırken yaptığımız şeyin, neden evrim tarafından seçildiğini ve tercih edildiğini anlıyoruz. Bu sistemlerin yeteri kadar yeterli olduğunu, aynı zamanda eğitim sırasındaki hata kontrolü açısından kararlı olduğunu ve aynı zamanda beyindeki enerji ve kimyasal / biyolojik kaynaklar gibi kaynakları koruduğunu biliyoruz.

Beynin neden böyle olduğunu basitçe anlıyoruz. Ayrıca, eğitim ve stratejilere bakarak olası bilgi akışlarını ve ilgili bilgi işlemeyi, konular hakkında hipotezler inşa etmemize ve değerlendirmemize yardımcı olan anlayışı anlıyoruz.

Örneğin, on yıl önce hatırlayabildiğim bir şey, doğal konuşma dilini öğrenmek için bir sistem eğitmek ve yapılan keşif sisteminin de, bir dili konuşmayı öğrenen bebeklerin analog davranışlarını yeniden birleştiren benzer problemler göstermesiydi. Farklı dilleri öğrenmek arasındaki farklar bile yeterince benzerdi.

Dolayısıyla, bu yaklaşımı ve tasarımı inceleyerek, dil öğrenimi sırasındaki insan bilgi işleminin, dil ile ilgili problemler için eğitim önerileri ve tedavileri çizecek kadar benzer olduğu, insanların zorluklarını destekleme ve anlamada ve daha etkili bir tedavi geliştirmede yardımcı olduğu sonucuna varıldı (ne olursa olsun). Gerçekten pratikte yapılan başka bir soru).

Bir ay önce 3B navigasyon ve fare beyinlerini hatırlamanın gerçekte nasıl çalıştığını ve her bulmaya ilişkin hesaplamalı modeller yaratarak gerçekte neler olup bittiğini anlamak için çok yardımcı oldu. Böylece yapay model biyolojik sistemde gözlenenlerin boşluklarını doldurdu.

Nörolojik bilimcilerin, devrelerden, bilişim akışından ve mantıksal işlem birimlerinden bahseden biyolojik bir kişiden daha fazla bir mühendisin bir araya getirdiği bir dili kullandıklarını öğrendiğimde beni gerçekten şaşırttı.

Bu yüzden yapay sinir ağlarından çok şey öğreniyoruz, çünkü bize deneysel bir oyun alanı sunuyor, beynin mimarisinin ne olduğu ve neden evrimin bunu alternatif yollardan tercih ettiği konusunda kurallar ve güvenceler elde edebiliyoruz.

Hala çok fazla boşluk var ama okuduklarımdan - yakın zamanda CNN’lerin vb. Konularına girdim, ancak 2000'li yılların başlarında üniversite döneminde yapay yapay zeka, bulanık mantık ve sinir ağları vardı.

Bu yüzden, sinir ağının ve yapay zeka alanındaki tüm bilim adamları ve uygulayıcılar için şükran ile sonuçlanan on yıllık bir geliştirme ve keşif sonucunu yakaladım. Aferin insanlar, gerçekten aferin!