Stokastik gradyan inişini kim icat etti?

Degrade iniş ve Stokastik degrade iniş tarihini anlamaya çalışıyorum . Degrade iniş icat edildi Cauchy 1847 yılında dökmek Générale Methode la çözünürlüklü des systèmes d'denklemler simultanées . pp. 536–538 Daha fazla bilgi için buraya bakın .

O zamandan beri gradyan iniş yöntemleri gelişmeye devam etti ve tarihlerini bilmiyorum. Özellikle stokastik degrade inişlerin icadıyla ilgileniyorum.

Bir akademik makalede memnuniyetle karşıladığından daha fazla kullanılabilecek bir referans.

Stokastik Gradyan İnişine, önce kağıtlarında, bir Stokastik Yaklaşım Yöntemi olan Robbins ve Monro tarafından tarif edildiği gibi Stokastik Yaklaşım gelir . Kiefer ve Wolfowitz daha sonra bir Regresyon Fonksiyonunun Maksimum Stokastik Tahmini ' makalesini yayınladı.Mark Stone tarafından belirtildiği gibi, Stokastik Yaklaşımın ML değişkenine aşina olan insanlara (yani Stokastik Gradyan İnişine) aşina olanlar için daha iyi tanınabilir. 60'lı yıllar bu damar boyunca pek çok araştırma gördü - Dvoretzky, Powell, Blum bugün aldığımız sonuçları yayınladı. Robbins ve Monro yönteminden Kiefer Wolfowitz yöntemine geçmek ve daha sonra Stochastic Gradient Descent'e (regresyon sorunları için) ulaşmak için sorunun yeniden çerçevelenmesi nispeten küçük bir adımdır. Yukarıdaki yazılar, Makine İncelemesi bakış açısından kısa bir tarihsel perspektif sağlayan Nocedal, Bottou ve Curtis tarafından hazırlanan bu yazıda da belirtildiği gibi, Stokastik Degrade İnişin öncülleri olarak geniş çapta belirtilmiştir .

Kushner ve Yin'in Stokastik Yaklaşım ve Özyinelemeli Algoritmalar ve Uygulamaları adlı kitabında nosyonun, 40'lı yıllara kadar kontrol teorisinde kullanıldığını öne sürdüğüne inanıyorum. ne de olsa, ben de bunu doğrulamak için onların kitabına erişimim yok.

Herbert Robbins ve Sutton Monro Stokastik Bir Yaklaşım Yöntemi Matematiksel İstatistiklerin Annals, Vol. 22, No. 3. (Eylül 1951), sayfa 400-407.

J. Kiefer ve J. Wolfowitz Regresyon Fonksiyonunun Azami Stokastik Tahmini Ann. Matematik. Devletçi. Cilt 23, Sayı 3 (1952), 462-466

Leon Bottou ve Frank E. Curtis ve Jorge Büyük Ölçekli Makine Öğrenimi için Nocedal Optimizasyon Yöntemleri , Teknik Rapor, arXiv: 1606.04838

Görmek

Rosenblatt F. Perceptron: Beyindeki bilgi saklama ve organizasyon için olasılıksal bir model. Psikolojik inceleme. 1958, Kasım; 65 (6): 386.

SGD'nin bundan önce optimizasyon literatüründe icat edilip edilmediğinden emin değilim - muhtemelen öyleydi - ama burada bir algıcıyı eğitmek için SGD uygulamasını açıkladığına inanıyorum.

Sistem pozitif bir güçlendirme durumundaysa, "açık" yanıtları kaynak setlerindeki tüm aktif A birimlerinin değerlerine pozitif bir AV eklenirken, kaynaktaki aktif birimlere negatif bir AV eklenir - "kapalı" yanıt kümeleri.

Bunlara "iki tür güçlendirme" diyor.

Ayrıca bu “iki değerli sistemler” hakkında daha fazla kitabı içeren bir kitaptan da söz ediyor.

Rosenblatt F. Algılayıcı: bilişsel sistemlerde istatistiksel ayrılabilirlik teorisi (Proje Para). Cornell Havacılık Laboratuvarı; 1958.