OP rcpinto'nun önerisi üzerine, "Graves et al.'nin kalibrenin sonuçlarını üreten çalışmalarını takip eden yaklaşık yarım düzine makale" hakkında bir yorum dönüştürdüm ve birkaç bağlantı sağlayacak. Bunun, Google DeepMind'in kendisinin değil, NTM'lerle ilgili sorunun sadece bir kısmını yanıtladığını unutmayın, ayrıca hala makine öğrenimindeki ipleri öğreniyorum, bu nedenle bu belgelerdeki bazı materyaller kafamın üstünde; Yine de Graves ve arkadaşlarının orijinal belgesindeki {1] materyalin çoğunu kavrayabildim ve ev yapımı NTM kodunu test etmeye yakınım. Ayrıca, en azından son birkaç ay içinde şu makaleleri gözden kaçırdım; NTM çalışmasını sıkı bir bilimsel şekilde çoğaltmazlar, ancak deneysel sonuçlarının çoğu orijinali en azından teğetsel olarak destekleme eğilimindedir:
• Bu yazıda NTM adreslemesinin değişik bir versiyonu üzerine, Gulcehere, et al. Graves ve arkadaşlarının testlerini tam olarak kopyalamaya çalışmayın, ancak DeepMind ekibi gibi, orijinal NTM ve sıradan bir tekrarlayan LSTM'ye göre birkaç varyant için önemli ölçüde daha iyi sonuçlar gösterir. N-gram Graves ve ark. Yerine bir Facebook Soru-Cevap veri kümesinin 10.000 eğitim örneğini kullanıyorlar. kağıtlarında çalıştırıldığından, en katı anlamda çoğaltma değildir. Bununla birlikte, orijinal NTM'nin ve birkaç varyantın bir sürümünü çalıştırmayı başardılar ve aynı performans performansını da kaydetti. 2
• Orijinal NTM'den farklı olarak, bu çalışma ayırt edilemeyen pekiştirici öğrenmenin bir versiyonunu test etmiştir; bu nedenle, kontrol cihazı ileriye doğru hareket etmekle sınırlı kalmadıkça, Tekrarla-Kopya gibi programlama benzeri tatların birçoğunu çözemediler. Yine de sonuçları, NTM fikrine destek verecek kadar iyiydi. Belgelerinde daha yeni bir revizyon var, henüz okumamıştım, belki de varyantlarının bazı problemleri çözüldü. 3
• NTM'nin orijinal lezzetini LSTM'ler gibi sıradan sinir ağlarına karşı test etmek yerine, bu makale onu daha gelişmiş NTM bellek yapılarına karşı çekti. Graves ve arkadaşlarının programlama gibi görevlerde iyi sonuçlar aldılar. test ettik, ancak aynı veri kümesini kullandıklarını sanmıyorum (çalışmalarının hangi veri kümeleri üzerinde çalıştıklarını yazmaktan söylemek zor). 4
• Açık s. Bu çalışmanın 8'inde , bir NTM, Omniglot karakter tanıma veri kümesinde birkaç LSTM, ileri beslemeli ve en yakın komşu tabanlı şemadan açıkça daha iyi performans gösterir. Yazarlar tarafından pişirilen harici belleğe alternatif bir yaklaşım açıkça atıyor, ancak yine de iyi bir performans sergiliyor. Yazarlar Google'daki rakip bir takıma ait gibi görünüyor, bu nedenle tekrarlanabilirliği değerlendirirken bir sorun olabilir. 5
• Açık s. 2 Bu yazarlar dinamik olarak topolojileri büyür genetik NEAT algoritma ile gelişti çok daha küçük LTB ağını kullanarak, kopya görevlerin bir testte "çok büyük dizileri" daha iyi genelleme alma bildirildi. 6
NTM'ler oldukça yenidir, bu yüzden orijinal araştırmayı henüz sıkı bir şekilde çoğaltmak için çok zaman olmamıştır. Bununla birlikte, yaz boyunca gözden kaçırdığım bir avuç makale, deneysel sonuçlarına destek veriyor gibi görünüyor; Mükemmel performanstan başka bir şey rapor eden herhangi bir şey görmedim. Elbette uygunluk önyargım var, çünkü sadece dikkatsiz bir İnternet aramasında kolayca bulabildiğim pdf'leri okudum. Bu küçük örnekten, takip araştırmalarının çoğunun, tekrarlanabilirlik verilerinin eksikliğini açıklayacak olan çoğaltma yerine kavramı genişletmeye odaklandığı görülmektedir. Umarım bu yardımcı olur.
1 Mezar, Alex; Wayne, Greg ve Danihelka, Ivo, 2014, "Neural Turing Machines", 10 Aralık 2014'te yayınlandı.
2 Gülcehre, Çağlar; Chandar, Sarath; Choy, Kyunghyun ve Bengio, Yoshua, 2016, 30 Haziran 2016'da yayınlanan "Yumuşak ve Sert Adresleme Şemalarına Sahip Dinamik Nöral Turing makinesi".
3 Zaremba, Wojciech ve Sutskever, Ilya, 2015, 4 Mayıs 2015'te yayınlanan "Takviye Öğrenimi Nöral Turing Makineleri".
4 Zhang; Wei; Yu, Yang ve Zhou, Bowen, 2015, 25 Ekim 2015'te yayınlanan "Nöral Turing Makineleri için Yapısal Bellek".
5 Santoro, Adam; Bartunov, Sergey; Botvinick, Matthew; Wierstra, Daan ve Lillicrap, Timothy, 2016, 19 Mayıs 2016'da yayınlanan "Bellek Artırılmış Sinir Ağları ile Tek Çekim Öğrenimi".
6 Boll Greve, Rasmus; Jacobsen, Emil Juul ve Sebastian Risi, tarih bilinmiyor, "Gelişen Nöral Turing Makineleri". Listede yayıncı yok
Boll Greve ve ark. Cornell Üniversitesi Kütüphanesi arXiv.org Deposu: Ithaca, New York'ta yayınlandı.