Deep Mind'in çalışmalarının ne kadarı gerçekten tekrarlanabilir?


9

Deep Mind, son yıllarda derin öğrenme üzerine, çoğu kendi görevlerinde son teknoloji ürünü birçok eser yayınladı. Ancak bu çalışmanın ne kadarı yapay zeka topluluğu tarafından yeniden üretildi? Örneğin, diğer araştırmacılara göre, Nöral Turing Makinesi kağıdının çoğaltılması çok zor görünüyor.


Orijinal makalenin sonuçlarını çoğaltmaktan emin değilim, ancak Graves et al. Çoğu NTM temasının varyantlarındadır. Bu yardımcı olursa bazı bağlantılar gönderebilirim.
SQLServerSteve

1
Bu yorum ve bağlantılar iyi bir gerçek cevap olacaktır.
rcpinto

Web adreslerini tekrar arayabildiğim anda kısa sürede bir cevaba dönüştüreceğim.
SQLServerSteve

Yanıtlar:


7

OP rcpinto'nun önerisi üzerine, "Graves et al.'nin kalibrenin sonuçlarını üreten çalışmalarını takip eden yaklaşık yarım düzine makale" hakkında bir yorum dönüştürdüm ve birkaç bağlantı sağlayacak. Bunun, Google DeepMind'in kendisinin değil, NTM'lerle ilgili sorunun sadece bir kısmını yanıtladığını unutmayın, ayrıca hala makine öğrenimindeki ipleri öğreniyorum, bu nedenle bu belgelerdeki bazı materyaller kafamın üstünde; Yine de Graves ve arkadaşlarının orijinal belgesindeki {1] materyalin çoğunu kavrayabildim ve ev yapımı NTM kodunu test etmeye yakınım. Ayrıca, en azından son birkaç ay içinde şu makaleleri gözden kaçırdım; NTM çalışmasını sıkı bir bilimsel şekilde çoğaltmazlar, ancak deneysel sonuçlarının çoğu orijinali en azından teğetsel olarak destekleme eğilimindedir:

Bu yazıda NTM adreslemesinin değişik bir versiyonu üzerine, Gulcehere, et al. Graves ve arkadaşlarının testlerini tam olarak kopyalamaya çalışmayın, ancak DeepMind ekibi gibi, orijinal NTM ve sıradan bir tekrarlayan LSTM'ye göre birkaç varyant için önemli ölçüde daha iyi sonuçlar gösterir. N-gram Graves ve ark. Yerine bir Facebook Soru-Cevap veri kümesinin 10.000 eğitim örneğini kullanıyorlar. kağıtlarında çalıştırıldığından, en katı anlamda çoğaltma değildir. Bununla birlikte, orijinal NTM'nin ve birkaç varyantın bir sürümünü çalıştırmayı başardılar ve aynı performans performansını da kaydetti. 2

• Orijinal NTM'den farklı olarak, bu çalışma ayırt edilemeyen pekiştirici öğrenmenin bir versiyonunu test etmiştir; bu nedenle, kontrol cihazı ileriye doğru hareket etmekle sınırlı kalmadıkça, Tekrarla-Kopya gibi programlama benzeri tatların birçoğunu çözemediler. Yine de sonuçları, NTM fikrine destek verecek kadar iyiydi. Belgelerinde daha yeni bir revizyon var, henüz okumamıştım, belki de varyantlarının bazı problemleri çözüldü. 3

• NTM'nin orijinal lezzetini LSTM'ler gibi sıradan sinir ağlarına karşı test etmek yerine, bu makale onu daha gelişmiş NTM bellek yapılarına karşı çekti. Graves ve arkadaşlarının programlama gibi görevlerde iyi sonuçlar aldılar. test ettik, ancak aynı veri kümesini kullandıklarını sanmıyorum (çalışmalarının hangi veri kümeleri üzerinde çalıştıklarını yazmaktan söylemek zor). 4

• Açık s. Bu çalışmanın 8'inde , bir NTM, Omniglot karakter tanıma veri kümesinde birkaç LSTM, ileri beslemeli ve en yakın komşu tabanlı şemadan açıkça daha iyi performans gösterir. Yazarlar tarafından pişirilen harici belleğe alternatif bir yaklaşım açıkça atıyor, ancak yine de iyi bir performans sergiliyor. Yazarlar Google'daki rakip bir takıma ait gibi görünüyor, bu nedenle tekrarlanabilirliği değerlendirirken bir sorun olabilir. 5

• Açık s. 2 Bu yazarlar dinamik olarak topolojileri büyür genetik NEAT algoritma ile gelişti çok daha küçük LTB ağını kullanarak, kopya görevlerin bir testte "çok büyük dizileri" daha iyi genelleme alma bildirildi. 6

NTM'ler oldukça yenidir, bu yüzden orijinal araştırmayı henüz sıkı bir şekilde çoğaltmak için çok zaman olmamıştır. Bununla birlikte, yaz boyunca gözden kaçırdığım bir avuç makale, deneysel sonuçlarına destek veriyor gibi görünüyor; Mükemmel performanstan başka bir şey rapor eden herhangi bir şey görmedim. Elbette uygunluk önyargım var, çünkü sadece dikkatsiz bir İnternet aramasında kolayca bulabildiğim pdf'leri okudum. Bu küçük örnekten, takip araştırmalarının çoğunun, tekrarlanabilirlik verilerinin eksikliğini açıklayacak olan çoğaltma yerine kavramı genişletmeye odaklandığı görülmektedir. Umarım bu yardımcı olur.

1 Mezar, Alex; Wayne, Greg ve Danihelka, Ivo, 2014, "Neural Turing Machines", 10 Aralık 2014'te yayınlandı.

2 Gülcehre, Çağlar; Chandar, Sarath; Choy, Kyunghyun ve Bengio, Yoshua, 2016, 30 Haziran 2016'da yayınlanan "Yumuşak ve Sert Adresleme Şemalarına Sahip Dinamik Nöral Turing makinesi".

3 Zaremba, Wojciech ve Sutskever, Ilya, 2015, 4 Mayıs 2015'te yayınlanan "Takviye Öğrenimi Nöral Turing Makineleri".

4 Zhang; Wei; Yu, Yang ve Zhou, Bowen, 2015, 25 Ekim 2015'te yayınlanan "Nöral Turing Makineleri için Yapısal Bellek".

5 Santoro, Adam; Bartunov, Sergey; Botvinick, Matthew; Wierstra, Daan ve Lillicrap, Timothy, 2016, 19 Mayıs 2016'da yayınlanan "Bellek Artırılmış Sinir Ağları ile Tek Çekim Öğrenimi".

6 Boll Greve, Rasmus; Jacobsen, Emil Juul ve Sebastian Risi, tarih bilinmiyor, "Gelişen Nöral Turing Makineleri". Listede yayıncı yok

Boll Greve ve ark. Cornell Üniversitesi Kütüphanesi arXiv.org Deposu: Ithaca, New York'ta yayınlandı.


4

Bu sorunun sınır çizgisi olduğunu ve yakınlaşabileceğini düşünüyorum. Şimdilik birkaç yorum var.


falsex DeepMind gibi bir şirketin çalışmasını yeniden üretmenin en az iki sorunu vardır:

  • Yayınlarda eksik olan teknikler.
  • Aynı veri seviyesine erişim.

Teknikler uygulanabilir olmalıdır. Bazı insanlar bazı Atari oyun stuntlarını üretti . AlphaGo görünüşte daha karmaşıktır ve daha fazla çalışma gerektirecektir, ancak bu gelecekte bir noktada mümkün olmalıdır (bireyler bugün bilgi işlem kaynaklarından yoksun olabilir).

Veriler daha zor olabilir. Birçok şirket veri setlerini açıyor, ancak veriler aynı zamanda rekabetin de siniridir ...


Aslında bu sınırları bulmaya çalışıyorum ... konu dışı olduğunu söyleyebilir misiniz? Çok geniş? Ya da ne?
rcpinto

Henüz karar vermedim. Bazı şirketin iddialarını yeniden üretebilirsek veya yapamazsak AI için neyin önemli olduğunu merak ediyorum. İnsanların kendilerini bu konuda sorguladıklarını görebiliyorum ve bazı cevaplar almak için buraya geliyorum, ama gerçekten AI hakkında konuşmuyoruz. Sorunuz hala genç. Topluluğun kararını görelim. Ben bunu "sınır çizgisi kabul edilebilir" buluyorum.
Eric Platon
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.