Deneyimin yeniden yürütülmesi neden ilke dışı algoritma gerektirir?

DQN "Atari'yi Derin Takviye Öğrenimi ile Oynamak " başlıklı makalede şunları söyledi:

Deneyim tekrarıyla öğrenirken, Q-öğrenme seçimini motive eden politika dışı (mevcut parametrelerimiz örneği oluşturmak için kullanılanlardan farklı olduğu için) öğrenmenin gerekli olduğunu unutmayın.

Ne anlama geldiğini tam olarak anlamadım. Ne Sarsa kullanmak ve eylemi hatırlamıyorsam a'biz almak olan eylem için s'biz DQN yaptığımız gibi bizim bellekte, ve sonra örnek toplu ondan ve güncelleme Q? Ve aktör-eleştirel yöntemler (spesifik olarak A3C) deneyim tekrarını kullanabilir mi? Değilse, neden?

SARSA gibi politika üzerine yöntemler, her eyaletteki eylemlerin, genellikle ödüllerden yararlanma eğilimi olan ajanın mevcut politikasına göre seçilmesini beklemektedir.

Bunu yaptığımızda, politikamızı son ödüllere göre güncellediğimizde politika iyileşir. Burada özellikle, belirli bir durumun / eylemin değerini tahmin eden NN parametrelerini güncellerler).

Ancak, politikamızı depolanan geçişlere dayalı olarak güncellersek, deneyim tekrarında olduğu gibi, zaman içinde geliştiği için artık geçerli olmayan bir politikadan eylemleri değerlendiririz, böylece artık politikada kalmaz.

Q değerleri, geçerli temsilci politikasını izleyen bir eyaletten alacağınız gelecekteki ödüllere göre değerlendirilir.

Ancak, artık farklı bir politika izlediğiniz için bu doğru değil. Bu nedenle, epsilon açgözlü bir yaklaşıma dayanarak araştıran ortak bir politika dışı yöntem kullanıyorlar.

$a$$s$