Derin Q öğrenmede epizot ve epoch arasındaki fark nedir?

Ben ünlü "Derin Takviye Öğrenme ile Atari Oynama" ( pdf ) adlı makaleyi anlamaya çalışıyorum . Bir dönem ve bölüm arasındaki farktan emin değilim . algoritmada , dış döngü bölümlerin üzerindedir , Şekil x ekseni çağ olarak etiketlenmiştir . Takviye öğrenme bağlamında, bir çağın ne anlama geldiğinden emin değilim. Bir dönem bölüm döngüsünün etrafında bir dış döngü mü? $1$$2$

• bir bölüm = bir terminal durumu ile biten bir dizi durum, eylem ve ödül. Örneğin, bir oyunun tamamını oynamak bir bölüm olarak kabul edilebilir, bir oyuncu kaybettiğinde / kazandığında / berabere kaldığında terminal durumuna ulaşılır. Bazen, bir bölümü birkaç oyun olarak tanımlamayı tercih edebilirsiniz ( örnek : "her bölüm birkaç düzine oyun, çünkü oyunlar her iki oyuncu için de 21 puan alıyor").
• bir çağ = nöral ağ terminolojisinde tüm eğitim örneklerinden bir ileri ve bir geri geçiş.

Bahsettiğiniz makalede, çağın anlamı konusunda daha esnek görünmektedirler, çünkü sadece bir dönemi belirli bir miktar ağırlık güncellemesi olarak tanımlarlar. Bu nedenle, bir dönemi, soruda belirttiğiniz gibi, bölüm döngüsü çevresinde bir dış döngü olarak görebilirsiniz.