Derin sinir ağları ve derin öğrenme genel zekaya ulaşmak için neden yetersizdir?

Derin Öğrenme (DL) ve derin (er) ağlarla ilgili her şey "başarılı", en azından çok hızlı ilerliyor ve AGI'nin ulaştığı inancını geliştiriyor. Bu popüler bir hayal gücü. DL, AGI'lerin oluşturulması da dahil olmak üzere birçok sorunun üstesinden gelmek için muazzam bir araçtır. Yine de yeterli değil. Bir araç gerekli bir bileşendir, ancak genellikle yetersizdir.

Alan adında önde gelen isimler ilerleme kaydetmek için başka yerlere bakıyor. Bu rapor / iddia Yoshua Bengio , Yann LeCun ve Geoff Hinton'un ifadelerine bağlantılar toplamaktadır . Rapor ayrıca şunları açıklıyor:

DL'in ana zayıflıkları (gördüğüm gibi): mümkün olan en basit model nöronlara güvenmek (LeCun onları çağırdığı için “karikatürize”); enerji fonksiyonlarının ve log-olasılık yöntemlerinin temeli olan 19. yüzyıl İstatistik Mekanik ve İstatistik fikirlerinin kullanımı; ve bunların backprop ve stokastik degrade iniş gibi tekniklerde kombinasyonu, çok yetenekli uygulayıcılar (aka “Stokastik Lisansüstü İniş”) gerektiren çok sınırlı bir uygulama rejimine (çevrimdışı, çoğunlukla toplu, denetimli öğrenme) yol açar. etiketli eğitim verileri ve hesaplama gücü. Yeteneği çekebilen veya satın alabilen ve veri toplamak ve bunlara çözüm bulmak için sınırsız kaynak dağıtabilen büyük şirketler için harika olsa da, DL, çoğumuz için ne erişilebilir ne de yararlıdır.

İlginç ve alakalı olmasına rağmen, bu tür bir açıklama sorunun özüne gerçekten değinmez: Eksik olan nedir?

Soru geniş görünüyor, ancak basit bir cevap eksikliğinden kaynaklanıyor olabilir. Bir AGI için DL'nin eksikliğini saptamanın bir yolu var mı?

Sinir ağlarıyla uğraşan herkes, sistemleri insan benzeri zeka ile karşılaştırırken önemli bir noktayı kaçırıyor. Bir insan, yetişkin insanların zar zor idare edebileceği sorunları çözebilmek için anlaşılabilir bir şey yapmak için aylar alır. Bu ve insan beyninin büyüklüğü, sinir ağlarımıza kıyasla çok büyük. Yön doğru olabilir, ancak ölçek çok uzakta. İnsan beynindeki nöronların sayısı hafıza açısından eşleştirilebilir, ancak gerçek zamanlı olarak simüle etmek için paralellik miktarı henüz elde edilemez (en azından rastgele bir araştırmacı için). Biraz eskiyken, bu işlem gücümüzün ne kadar eksik olduğuyla ilgili bir fikir verebilir.

Derin Öğrenme çoğunlukla denetimli öğrenmede başarılı olurken, beyin kategorileri çoğunlukla denetimsiz bir şekilde oluşturur. Bunu nasıl yapacağımızı henüz bilmiyoruz. ( Google beynine bir göz atın : 16.000 çekirdek ve tüm yapabileceğiniz şey, kedileri ve insan yüzlerini oldukça derin bir doğrulukla tanımaktır.)

Derin Öğrenme son derece yapılandırılmamış aktivasyonlar kullanır, yani bir sinir ağı sınıflandırıcısındaki "köpek" ve "kedi" nin üst düzey temsillerinin hiç benzer olması gerekmez. Diğer yandan beyin seyrek dağıtılmış temsiller oluşturmak için inhibitör nöronlar kullanır semantik yönlerine ayrıştırılabilen . Bu, benzetme ile soyutlama ve akıl yürütme için muhtemelen önemlidir.

Beynin birlikte çalışan birçok farklı kısmı vardır. Derin Öğrenme araştırmacıları hafızayı entegre etmeye yeni başladı veya dikkat mekanizmalarını mimarilerine entegre etmeye yeni başladı.

Beyin birçok farklı duyudan gelen bilgileri birleştirir. Çoğu Deep Learning uygulaması metin veya resim gibi yalnızca tek bir girdi türü kullanır.

Beyin sekansları kategoriler olarak modelleyebilir. (Temel olarak her fiil sıralı (geçici) bir kategoriyi adlandırır.) Daha sonra bu kategorileri uzun vadeli hiyerarşik planlara göre düzenleyebilir. Şimdiye kadar Derin Öğrenme'de bu yönde hiçbir şey görmedim.

Ayrıca sinir ağları henüz insan beyni ile aynı ölçekte çalışamaz. Bu sorunun cevaplarına bakarsanız , insan beyni birkaç on yıl boyunca nöron sayısında önde olacak. Bir sinir ağı benzer bir performansa (daha yüksek doğruluk nedeniyle) ulaşmak için beyinle aynı sayıda nörona ihtiyaç duymayabilir, ancak şu anda örneğin video işleme giriş ve çıkış açısından hala oldukça sınırlıdır.

IMHO ilk engel ölçek : Google'ın en büyük DNN'si bile beynin ölçeğine yaklaşmıyor ve birkaç büyüklük derecesi faktörü ile ...

Bence hala insan beyni yapan özellikler eksik; birbirleriyle çalışan birçok farklı ağa sahip olmak.

Tıpkı meditasyonun, beynin daha sinerjik çalışmasını sağlayarak bilişsel yetenekleri geliştirmesi gibi, bunu makinelere de uygulayabiliriz.

Örneğin google, tıpkı bizim yaptığımız gibi, öğrendiklerimizi pekiştirmek için hayal kurmak için bir bilgisayar öğreniyor. https://medium.com/@tannistho/why-is-google-teaching-its-ai-to-dream-e9ae9ecd0e3a#.gljal6pww

Ve işte yol ağı, bir sinir ağı ağı. https://medium.com/@thoszymkowiak/deepmind-just-published-a-mind-blowing-paper-pathnet-f72b1ed38d46#.ed0f6pdq7

Tüm bu mekaniği yaratmak ve hepsini bir araya getirmek, yeterli güçle ve oldukça yakınlaşacağız!

Bugün yapay zeka savunucuları hesaplanabilirlik sorununa odaklanıyor - karmaşık sorunları hızlı bir şekilde çözme yeteneği. İnanıyorum ki, bu yöndeki herhangi bir başarı, belirli alanlarda insanlardan daha iyi performans göstermesine rağmen, insan (genel) istihbaratına yol açmayacaktır. Bunun yerine çabalar, nörolojik olayların sansasyona neden olduğu bir çalışma (qualia deneyimi) yönünde olmalıdır. Tabii ki, bu felsefenin zor problemidir, ancak bunun genel zeka ve yetenekleri için eşsiz bir anahtar olduğuna inanıyorum. Tersine mühendislik ve test edilebilir teoriler bu amaca doğru ilerletilmelidir.