Otomatik kodlayıcı sinir ağlarının kökeni nedir?

14

Google, Wikipedia, Google araştırmacısı ve daha fazlasını aradım, ancak Otomatik Kodlayıcıların kökenini bulamadım. Belki de yavaş yavaş gelişen bu kavramlardan biridir ve net bir başlangıç noktasını izlemek imkansızdır, ancak yine de gelişimlerinin ana adımlarının bir tür özetini bulmak istiyorum.

Autoencoders hakkında bölüm Ian Goodfellow, Yoshua Bengio ve Aaron COURVILLE Dibi Öğrenme kitabında diyor ki:

Otomatik kodlayıcılar fikri, yıllardır sinir ağlarının tarihsel manzarasının bir parçası olmuştur (LeCun, 1987; Bourlard ve Kamp, 1988; Hinton ve Zemel, 1994). Geleneksel olarak, otomatik enkoderler boyutsallık azaltma veya özellik öğrenme için kullanılmıştır.

Pascal Vincent'ın bu sunumu şöyle diyor:

Klasik oto-kodlayıcılar kullanılarak yapılan kınama aslında Hopfield ağlarına alternatif olarak çok daha önce ortaya konmuştur (LeCun, 1987; Gallinari ve ark., 1987) (Hopfield, 1982).

Bu, daha önce "klasik oto-kodlayıcıların" var olduğunu ima ediyor gibi görünüyor: LeCun ve Gallinari onları kullandı ancak icat etmedi. 1987'den önce "klasik oto-kodlayıcıların" hiçbir izini görmüyorum.

Herhangi bir fikir?

neural-networks autoencoders history

— MiniQuark
kaynak

9

Schmidhuber'da sunulan tarihe göre, " Sinir ağlarında derin öğrenme: genel bakış ", Sinir Ağları (2015), Ballard'da denetimsiz ön eğitim için bir yöntem olarak otomatik kodlayıcılar önerildi, "Sinir ağlarında modüler öğrenme," Bildiriler AAAI (1987). Ancak, otomatik kodlayıcıların ilk kez kullanılıp kullanılmadığı açık değildir; sadece ilk kez YSA eğitimi için kullanıldılar .

Schmidhuber makalesine giriş netleştikçe, YSA'larda kullanılan tüm fikirleri atfetmek biraz zor çünkü literatür çeşitlidir ve terminoloji zamanla gelişmiştir.

— Sycorax: Monica'yı eski durumuna getirdi
kaynak

1

Ballard tarafından yazılan makalenin tamamen farklı bir terminolojisi vardır ve Autoencoder konseptinin bir kokusu bile yoktur. Belki AE'nin orijinli kağıdı yoktur.

— abunickabhi

2

Schmudhuber gazetesi, terminolojinin zaman içinde değiştiğini ve farklı insanların aynı konuları tekrar tekrar keşfettiğini vurgulamaktadır. Yazarın “otomatik kodlayıcı” kelimesini kullanması şaşırtıcı değil

— Sycorax, Reinstate Monica'yı

4

Aşağıdaki makale dolaylı olarak otoencoder hakkında konuşuyor ve 1986 yılına dayanıyor. (Ballard'ın 1987'deki gazeteden bir yıl önce)

DE Rumelhart, GE Hinton ve RJ Williams, "Hata yayılımıyla içsel temsillerin öğrenilmesi." , Paralel Dağıtılmış İşleme. Cilt 1: Temeller. MIT Press, Cambridge, MA, 1986.

Bu makale temel olarak yeni bir tür ileri beslemeli ağı ve onun matematiksel formalizmini tanımlamaktadır.

— abunickabhi
kaynak