DeepMind'in DQN Atari oyunu öğrenme aynı anda mıydı?

9

DeepMind, derin Q-ağlarının (DQN) 49 Atari oyunu oynamayı öğrenirken davranışlarını sürekli olarak adapte edebildiğini belirtiyor.

Aynı sinir ağına sahip tüm oyunları öğrendikten sonra, ajan hepsini aynı anda 'insanüstü' seviyelerde oynayabiliyordu (oyunlardan biri ile rastgele sunulduğunda) ya da bir seferde sadece bir oyunda iyi olabilir mi? yeniden öğrenmeye mi ihtiyacınız var?

neural-networks deep-learning deepmind

— Dion
kaynak

"Aynı sinir ağı ile tüm oyunları öğrendikten sonra". Bu aynı NN mimarisi VEYA aynı mimari ve tek bir ağırlık seti anlamına mı geliyor?

— Ankur

@Ankur aslında emin değilim - aynı mimariyi kullandıkları ve oyunlar arasındaki ağırlıkları sıfırlamadıkları (sınırlı) anlayışım.

— Dion

2

Geçiş yapmak için yeniden öğrenme gerekiyordu.

Ayrıca şunu da unutmayın :

Yedi oyunun hepsinde aynı ağ mimarisini, öğrenme algoritmasını ve hiperparametreler ayarlarını kullanıyoruz, yaklaşımımızın oyuna özgü bilgiler içermeden çeşitli oyunlar üzerinde çalışacak kadar sağlam olduğunu gösteriyoruz. Temsilcilerimizi gerçek ve değiştirilmemiş oyunlar üzerinde değerlendirirken, sadece eğitim sırasında oyunların ödül yapısında bir değişiklik yaptık.

ve

ağ, denediğimiz yedi oyunun altısında önceki tüm RL algoritmalarından daha iyi performans gösterdi ve üçünde uzman bir insan oyuncuyu aştı.

— Franck Dernoncourt
kaynak

1

Geçiş yapmak yeniden öğrenmeyi gerektirir, ağın tüm oyunları iyi oynamasına izin veren tek bir ağırlık seti yoktu. Bunun nedeni felaket unutma problemidir.

Ancak, bu sorunun üstesinden gelmek için son çalışmalar yapılmıştır:

"Sinir ağlarında yıkıcı unutmanın üstesinden gelmek", 2016

Makale: https://arxiv.org/pdf/1612.00796v1.pdf

— reddetmek
kaynak