İnsan beyinlerinin sinir ağlarına karşı güç verimliliği

Hesaplama için toplam enerji bütçemiz insan beyni enerji bütçesine ( 12,6 watt ) eşitse, şimdi ne kadar büyük yapay sinir ağları (tam tren-backprop döngüsü ile veya sadece ağ çıktılarını değerlendirerek ) çalıştırabiliriz?

Saniyede bir döngü olduğunu varsayalım, bu biyolojik nöronların ateşleme oranına kabaca uygun gibi görünüyor .

neural-networks human-like

— Liori
kaynak

Bu soruyu soracaktım. Başkasının yapmış olduğu mutluyum :)

— Eka

Yanıtlar:

IBM True North ile 12,6 Watt'ta 126 milyon yapay nöron

2014 yılında IBM'in True North çipi 100 milyondan az 1 milyon nöronu zorluyordu.

Yani bu 12,6 Watt'ta yaklaşık 126 milyon yapay nöron.

Bir farede 70 milyon nöron bulunur.

IBM, "salt" bir 4kW'de insan beyni ölçeğinde bir True North ana çerçevesi oluşturabileceklerine inanıyor .

3D transistörler piyasaya çıktığında, hayvan beyni verimliliğini oldukça hızlı yakalayacağımızı düşünüyorum.

— Doxosophoi
kaynak

> Yani bu 12,6 Watt'ta yaklaşık 126 milyon yapay nöron. > Bir farede 70 milyon nöron bulunur. Sorun şu ki, tek bir yapay "nöron" un gerçek bir biyolojik nöron için gerçekten bire bir eşdeğer olup olmadığını bilmiyoruz.

— mindcrime

Akıl suçuna ek olarak, yaklaşık 60 yıldır sinirbilimcilerin / AI araştırmacılarının insan beyninin işlem gücünü sürekli olarak hafife aldıklarını unutmayın. Aklımızın sadece birkaç 100 MB depolayabileceği büyük isimlerle erken tahminler gördüm! Bit derinliği, uygun mimari, beyin hücrelerinde olası kuantum durumları, vb. . Yapay zeka araştırmacıları kendi yeteneklerini tarihsel olarak her zaman çok fazla abarttılar.

— SQLServerSteve

Gerçekten de IBM çiplerini unuttum. Verimliliği hakkında bilinen bir eleştiri olduğu için, soruyu yazarken bile dikkate almadım (bkz. Örneğin facebook.com/yann.lecun/posts/10152184295832143 ). Teknik olarak hala sinir ağları uyguluyorlar, bu yüzden benden +1.

— liori

@mindcrime & SQLServerSteve Soru, özellikle stok donanımda çalışan vanilya beslemesi ileri ANN'lerle ilgili olabilir. Bu sorudan aldığım izlenim değil.

— Doxosophoi

Henüz hayal bile edilmemiş yapay sinir ağları ile ilgili gibi görünmüyordu.

— Doxosophoi

Kendinizi 12,6 watt ile sınırlandırırsanız, fazla bir şey yapamazsınız. Sadece modern bir GPU için güç tüketimine bakın, insanların bunlarda eğitim aldığı boyut ağlarına bakın ve ardından ölçeklendirin. Referans olarak, modern GPU'lar ağır kullanımda 52-309 watt tüketiyor gibi görünüyor .

Enerji verimliliği, insan beyninin hala YSA'ların çok başında olduğu bir alandır.

— mindcrime
kaynak