Modüler Sinir Ağları herhangi bir görevde büyük, yekpare ağlardan daha etkili midir?


16

Modüler / Çoklu Sinir ağları (MNN'ler) birbirine veya daha yüksek bir ağa beslenebilen daha küçük, bağımsız ağların eğitimi etrafında döner.

Prensip olarak, hiyerarşik organizasyon, daha karmaşık sorun alanlarını anlamamıza ve daha yüksek bir işlevselliğe ulaşmamıza izin verebilir, ancak geçmişte bu konuda yapılan somut araştırma örnekleri bulmak zor görünmektedir. Birkaç kaynak buldum:

https://en.wikipedia.org/wiki/Modular_neural_network

https://www.teco.edu/~albrecht/neuro/html/node32.html

https://vtechworks.lib.vt.edu/bitstream/handle/10919/27998/etd.pdf?sequence=1&isAllowed=y

Birkaç somut sorum var:

  • MNN'lerin kullanımı ile ilgili yeni bir araştırma var mı?

  • MNN'lerin büyük tek ağlardan daha iyi performans gösterdiği herhangi bir görev var mı?

  • MNN'ler multimodal sınıflandırma için kullanılabilir, yani her ağı temelde farklı bir veri türü (metin ve görüntü) üzerinde eğitebilir ve tüm çıktılarda çalışan daha üst düzey bir aracıya iletebilir mi?

  • Yazılım mühendisliği perspektifinden bakıldığında, bunlar dağıtılmış bir sistemde daha fazla hataya dayanıklı ve kolayca izole edilemez mi?

  • Sinir Mimarisi Arama gibi bir süreç kullanarak alt ağların topolojilerini dinamik olarak uyarlamak için herhangi bir çalışma yapıldı mı?

  • Genel olarak MNN'ler herhangi bir şekilde pratik midir?

Bu sorular naif görünüyorsa özür dilerim, ML'ye ve daha geniş anlamda bir biyoloji / sinirbilim geçmişinden CS'ye geldim ve potansiyel etkileşim tarafından büyülendim.

Zaman ayırıp görüşlerinizi ödünç verdiğiniz için gerçekten minnettarım!


- Ben performansını artırmak ve filtrelemek için böyle bir modüler sisteminin uygulanması hakkında düşünmüştü kesinlikle - Gereksiz bağımlılıkları girdilere. Bir eureka anı olduğunu düşündüm, ancak zaten yerleşik bir yapı olduğunu bilmiyordum.
Tobi

Yanıtlar:


2

Bu konuyla ilgili gerçekten de bir soruşturma devam etmektedir. Son yürüyüşten bir ilk yayın, modülerliğin, bir süre önce açık bir şekilde olmasa da, yapıldığını, ancak bir şekilde eğitimin monolitik olduğunu kaydetti. Bu makale konuyla ilgili bazı temel soruları değerlendirmekte ve modüler ve yoğun şekilde tekrarlayan sinir ağlarındaki eğitim sürelerini ve performanslarını karşılaştırmaktadır. Görmek:

Bazıları modülerliğe çok odaklıdır, ancak yekpare eğitimden devam eder (bkz. Jacob Andrea'nın araştırması , Özellikle Akılla öğrenme üçüncü sorunuzla çok ilgili). 2019'un sonları ve gelecek yıl mart arasında bir yerde daha fazla sonuç olmalı (biliyorum).

Son iki sorunuzla ilgili olarak, modülerliğin genelleme yolunda önemli bir anahtar olduğunu görmeye başlıyoruz. Size bazı makaleler önermeme izin verin (hepsini arxiv veya google alimlerinden bulabilirsiniz):

  • Stokastik Uyarlanabilir Sinir Mimarisi Anahtar Kelime Belirleme (performans ve kaynak kullanımını dengelemek için bir mimarinin varyasyonları) için arama.

  • Sinir Programlama Mimarilerini Özyineleme ile Genelleştirmek (görev altmodülerliği yaparlar ve sinir ağları alanında genellemenin ilk kez garanti edildiğine inanıyorum).

  • Derin sinir ağları ve ağaç araması ile Go oyununda ustalaşmak (ağ topolojisi aslında arama ağacının kendisidir, grafik sinir ağları arıyorsanız, bundan daha fazlasını görebilirsiniz).


1

Tekli daha derin ağlara göre ayrı olarak eğitilmiş ağlardan oluşan sistemlerin karşılaştırmalı karşılaştırması, evrensel olarak uygulanabilir en iyi seçeneği ortaya çıkarmayacaktır. 1 Literatürde, diğer bileşen türleriyle birlikte birkaç yapay ağın birleştirildiği daha büyük sistemlerin sayısındaki artışı görebiliriz. Beklenecek. Sistemler karmaşıklıkta büyüdükçe ve performans ve kapasite talepleri büyüdükçe modülerleşme sanayileşme kadar eskidir.

Laboratuvarımız robotik kontrol, termodinamik enstrümantasyon ve veri analizi ile çalışır, yapay ağlar bu daha büyük sistem bağlamında bileşenlerdir. kendi başlarına yararlı bir işlevi yerine getiren tek bir MLP veya RNN'miz yoktur.

On yıllar önce hiyerarşiler hakkındaki varsayımın aksine, çoğu durumda iyi işleyen topoloji yaklaşımı, enerji santrallerinde, otomatik fabrikalarda, havacılıkta, kurumsal bilgi mimarilerinde ve diğer karmaşık mühendislik eserlerinde görülen daha yaygın sistem modülü ilişkilerini izler. Bağlantılar akış bağlantılarıdır ve eğer bunlar iyi tasarlanmışsa, gözetim fonksiyonları minimaldir. İletişim için protokoller içeren modüller arasında akış oluşur ve her modül, daha düşük karmaşıklık ve fonksiyonel ayrıntı düzeyini kapsayan işlevini iyi yerine getirir. Gerçek uygulamada en etkili gibi görünen bir ağ değil, denge ve simbiyozdur. İnsan beynindeki net usta-köle tasarımının tanımlanması eşit derecede kaygan görünmektedir.

Zorluk, sistem bilgi topolojisini oluşturan bilgi yollarını bulmak değildir. Bilgi akışı genellikle problem analizi üzerine açıktır. Zorluk, bu bağımsız ağları eğitmek için en iyi stratejileri keşfetmektir. Eğitim bağımlılıkları yaygındır ve genellikle kritiktir, oysa hayvanlarda eğitim yerinde veya hiç gerçekleşmez. Sistemlerimizde bu tür öğrenmenin pratik olduğu koşulları ve bunu nasıl başaracağımızı keşfediyoruz. Bu hatlardaki araştırmalarımızın çoğu, araştırma saatleri açısından daha yüksek güvenilirlik ve daha düşük yük elde etmenin yollarını keşfetmeyi amaçlamaktadır.

Daha yüksek işlevsellik her zaman fayda sağlamaz. Genellikle daha düşük güvenilirlik üretir ve çok az getiri ile ek geliştirme kaynakları tüketir. Daha üst düzey otomasyon, kaynak tasarruf ve güvenilirliği tek bir geliştirme süreciyle birleştirmenin bir yolunu bulun ve web'de ödül ve onurlu bir söz kazanabilirsiniz.

Aynı amaca sahip paralel sistemler iyi bir fikirdir, ancak yeni bir fikir değildir. Bir havacılık sisteminde, dokuz paralel sistem, üçlü gruplar halinde aynı amaca sahiptir. Her grup farklı bir bilgi işlem yaklaşımı kullanır. Aynı yaklaşımı kullanan sistemlerden ikisi aynı çıkışı sağlar ve üçüncüsü farklıysa, eşleşen çıkış kullanılır ve üçüncüsündeki fark bir sistem hatası olarak rapor edilir. Farklı yaklaşımlardan ikisi benzer sonuçlar sağlarsa ve üçüncüsü önemli ölçüde farklılık gösterirse, iki benzer sonucun birleştirilmesi kullanılır ve üçüncüsü, muhalif yaklaşımı daha da geliştirmek için bir kullanım durumu olarak rapor edilir.

Geliştirilmiş hata toleransı bir maliyete, sekiz sisteme ve ilgili bilgi işlem kaynaklarına ve bağlantıya ek olarak kuyruktaki karşılaştırıcılara sahiptir, ancak ölüm kalım meselesi olan sistemlerde ekstra maliyetler ödenir ve güvenilirlik en üst düzeye çıkarılır.

Dinamik topolojik adaptasyon gereksiz sistemler ve hata toleransı ile ilgilidir, ancak bazı yönlerden oldukça farklıdır. Bu gelişme alanında, takip edilecek teknoloji, kısmen nöroplastisite ile esinlenilen nöromorfik hesaplamadır.

Dikkate alınması gereken son bir ayrım süreç topolojisi, veri topolojisi ve donanım topolojisi arasındadır. Bu üç geometrik çerçeve, akış, temsil ve mekanik arasındaki ilişkiler arasında daha doğrudan eşlemeler üreten belirli yollarla hizalandığında birlikte daha fazla verimlilik üretebilir. Ancak bunlar farklı topolojilerdir. Bu kavramlara ve belirli ürün veya hizmet hedefleri için ortaya çıkan ayrıntılara derinlemesine dalmadan hizalamanın anlamı belirgin olmayabilir.

Dipnotlar

[1] Tek bir ünite olarak eğitilen ve diğer yapay ağlara bağlanma olmadan çalışan derin ağlar mutlaka monolitik değildir. Çoğu pratik derin ağ, aktivasyon fonksiyonları ve çoğu zaman hücre tipleri bakımından heterojen katman dizisine sahiptir.

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.