Derin öğrenme temelleri

Derin öğrenmenin temellerini anlatan bir makale arıyorum. Derin öğrenme için Andrew Ng kursu gibi ideal. Bunu nerede bulabileceğimi biliyor musun?

Bu link şaşırtıcı miktarda derin öğrenme literatürü içerir. Onu burada özetliyoruz (ideal olarak bir aceminin başına gelmeli) - NOT: Bütün bu kaynaklar genelde python kullanıyor.

1) Her şeyden önce, temel bir makine öğrenmesi bilgisi gereklidir. Caltech'in Öğrenmeyi veriden internette mevcut olan tüm makine öğrenim kursları için ideal buldum.

Andrew Ng'nin Coursera kursu da oldukça iyi.

2) Sinir ağları için kimse bunu Dr.Patrick Winston'dan daha iyi açıklayamaz . Ödevler daha iyi anlaşılması için denenmelidir. Python'dalar.

3) Yapay Sinir Ağlarını daha iyi anlamak için Michael Nielsen'in kursu yapılmalıdır (Alexey tarafından önerildiği şekilde). Oldukça basit ama işe yarıyor.

4) derin sinir ağları, ve daha hızlı GPU'larında bunları uygulamak için, örneğin mevcut çoklu çerçeveler vardır Theano , Caffe , Pybrain , Torch vb. Bunların dışında Theano, kullanıcısının özel NN'ler oluşturmasını sağlayan daha düşük bir işlevsellik sağlar. Bu bir python kütüphanesidir, öyleyse numpy, scikit-learn, matplotlib, scipy kullanabilmek büyük bir artı. Derin öğrenme öğretici Lisa Lab tarafından yazılan Theano daha iyi anlamak için dışarı denenmelidir.

5) Konvolüsyonel Sinir Ağları için andrej karpathy'nin eğitimini takip edin .

6) Denetimsiz öğrenme için, buradan ve buradan izleyin .

7) Derin öğrenme ve NLP'nin kesişimi için Richard Socher'ın sınıfını takip edin .

8) LSTM'ler için, Hochreiter, S., & Schmidhuber, J. (1997) 'yi okuyun. Uzun süreli hafıza. Sinirsel hesaplama, 9 (8), 1735-1780 ve Graves, Alex. Tekrarlayan sinir ağları ile denetimli dizi etiketleme. Vol. 385. Springer, 2012 .

İşte LSTM'nin Theano kodu .

Konu yenidir, bu yüzden bilgeliğin çoğu gazetelere dağılmıştır, fakat işte iki yeni kitap:

• Derin Öğrenme , Yoshua Bengio, Ian J. Goodfellow, Aaron Courville.
• Derin Öğrenme: Yöntem ve Uygulamalar , Li Deng ve Dong Yu.

Ve bazı pratik materyaller: http://deeplearning.net/tutorial/

• ACL 2012 + NAACL 2013 Eğitimi: NLP için Derin Öğrenme ( Sihirsiz )

Sinir Ağları ve Michael Nielsen'in Derin Öğrenme. Kitap hala devam ediyor, ancak oldukça ilginç ve umut verici görünüyor. Ve ücretsiz! İşte link: http://neuralnetworksanddeeplearning.com/

Şimdiye kadar sadece 5 bölüm var ve çoğu normal sinir ağları hakkında konuşuyor, ancak yine de bir göz atmaya değer.

Güncelleme: kitap bitti!

Ana referanslar:

Derin öğrenme kursları:

• Andrew Ng'in makine öğrenmesi konusundaki kursunun sinir ağları hakkında hoş bir giriş bölümü var.
• Geoffrey Hinton'un kursu: Coursera Machine Learning için Yapay Sinir Ağları (sonbahar 2012)
• Michael Nielsen'in ücretsiz kitabı Sinir Ağları ve Derin Öğrenme
• Yoshua Bengio, Ian Goodfellow ve Aaron Courville , derin öğrenme üzerine bir kitap yazdı.
• Hugo Larochelle'nin kursu (videolar + slaytlar) Université de Sherbrooke'da
• Stanford'ın Denetimsiz Özellik Öğrenme ve Derin Öğrenme üzerine öğretici (Andrew Ng ve ark.)
• Oxford'daki ML 2014-2015 Kursu
• NVIDIA Derin öğrenme kursu (yaz 2015)
• Google'ın Udacity'deki Derin Öğrenme kursu (Ocak 2016)

NLP odaklı:

• Stanford CS224d: Doğal Dil İşleme İçin Derin Öğrenme (bahar 2015) Richard Socher tarafından
• NAACL HLT 2013'te verilen öğretici: Doğal Dil İşleme için Derin Öğrenme (Sihirsiz) (videolar + slaytlar)

Vizyon odaklı:

• CS231n Andrej Karpathy tarafından Görsel Tanıma Konvolüsyonlu Sinir Ağları (önceki versiyon, daha kısa ve daha az cilalanmış: Hacker'ın Sinir Ağları rehberi ).

Araç setine özel öğreticiler:

• DL4J (Java): http://deeplearning4j.org/documentation.html
• Theano (Python, Y. Bengio): http://deeplearning.net/
• Torch7 ile Makine Öğrenmesi (Lua, LeCun): http://code.madbits.com/wiki/doku.php
• H2O Derin Öğrenme (Java): http://0xdata.com/product/deep-learning/
• Caffee (C ++, UCB): http://caffe.berkeleyvision.org/
• Nervana'nın Derin Öğrenme Kursu

Richard Socher'ın NLP ve derin öğrenimin kesişimindeki doktora tezi de var: Doğal Dil İşleme ve Bilgisayarla Görme İçin Özyinelemeli Derin Öğrenme

Geri yayılma algoritmasının türetilmesini anlamak için , daha az göz korkutucu olan Ryan Harris youtube videosunu öneriyorum . İkinci videoyu da bulabilirsiniz.