Hopfield ağları bir vektörü saklayabilir ve gürültülü bir versiyonundan başlayarak alabilir. Tüm nöronlar vektör değerlerine eşit olarak ayarlandığında enerji işlevini en aza indirgemek için ağırlık ayarlayarak bunu gürültülü sürümünü girdi olarak kullanarak ve ağın bir enerji minimum değerine oturmasına izin vererek vektörü alırlar.
Netin en yakın minimumda çözüleceğine dair hiçbir garanti olmaması gibi problemleri bir kenara bırakmak - sonunda Boltzmann makineleri ve sonunda geri yayılma ile çözülen problemler - atılım, soyut temsillerin olması için bir başlangıç noktasıydı. Aynı belgenin iki sürümü aynı durumu hatırlar, ağda aynı durumla temsil edilir.
Hopfield'ın 1982 tarihli makalesinde , ortaya çıkan toplu hesaplama yeteneklerine sahip sinir ağları ve fiziksel sistemler yazdığı gibi
Mevcut modelleme daha sonra bir varlığın veya Gestalt'ın özelliklerinin bir koleksiyonunu temsil eden girdiler temelinde nasıl hatırlandığı veya kategorize edildiği ile ilgili olabilir.
Diğer taraftan, derin öğrenmenin atılımı, girdinin çoklu, hiyerarşik temsillerini oluşturma ve sonunda AI uygulayıcılarının hayatını kolaylaştırma, özellik mühendisliğini basitleştirme yeteneğiydi. (bkz. Örnek Temsili Öğrenme: Bir Gözden Geçirme ve Yeni Perspektifler , Bengio, Courville, Vincent).
Kavramsal bir bakış açısından, derin öğrenmeyi Hopfield ağlarının bir genellemesi olarak görebileceğine inanıyorum: tek bir gösterimden temsil hiyerarşisine.
Bu, hesaplama / topolojik açıdan da doğru mu? "Basit" Hopfield ağlarının nasıl olduğunu düşünmemek (2 durumlu nöronlar, yönlendirilmemiş, enerji fonksiyonu), bir ağın her katmanını bir Hopfield ağı ve tüm süreci önceden ezberlenmiş Gestalt'ın sıralı bir ekstraksiyonu ve yeniden yapılandırılması olarak görebilir. bu Gestalt?