Güçlendirme öğreniminde indirim faktörünün anlamı

Atari'nin oyunlarındaki google deepmind başarılarını okuduktan sonra q-öğrenmeyi ve q-ağlarını anlamaya çalışıyorum, ama biraz kafam karıştı. İskonto faktörü kavramında karışıklık ortaya çıkar. Anladıklarımın kısa özeti. Bir eylemin beklenen optimal değerinin değerini tahmin etmek için derin bir evrişimli sinir ağı kullanılır. Ağ kayıp fonksiyonunu en aza indirmelidir burada E s ′ [ y | s , bir ] olan E [ r + γ m bir X bir ' S ( s ' , bir ' ; θ - i ) | s,a] BuradaQ, kümülatif bir puan değeridir ver, eylem seçimi için puan değeridir. s,ave

$$L_i=\mathbb{E}_{s,a,r}\left[(\mathbb{E}_{s'}\left[y|s,a\right]-Q(s,a;\theta_i))^2\right]$$ $\mathbb{E}_{s'}\left[y|s,a\right]$ $$\mathbb{E}\left[r+\gamma max_{a'} Q(s',a';\theta^-_i)\right|s,a]$$ $Q$$r$$s,a$ sırasıyla eyalet ve etki süresi de tercih t devlet ve süre içinde harekete t ' . Θ - ı önceki iterasyondan de ağın ağırlıklardır. Γ dikkate skor değerlerinin zamansal farkı aldığımız bir indirim faktördür. İ indis zamansal bir adımdır. Buradaki sorun neden anlamaktır γ bağlıdır gelmez İçeride ISTV melerin RWMAIWi'nin .$s',a'$$t$$t'$$\theta^-_i$$\gamma$$i$$\gamma$$\theta$

Görüş matematiksel açıdan indirim faktörüdür ve devlet ulaşmak için olasılığını temsil ler ' devlet dan s .$\gamma$$s'$$s$

$Q$$\gamma$$\gamma=1$

$s′$$s$$p(s'|s,a)$$γ$$y$$s$bu devletin anlık ödülü artı başlayarak gelecekte almayı beklediğiniz şeydir . Ancak bu gelecek dönem iskonto edilmelidir, çünkü gelecekteki ödüller ( ) şu anda bir ödül almakla aynı değere sahip olmayabilir (tıpkı yarın 100 $ yerine 100 $ almayı tercih ettiğimiz gibi ). Gelecekteki ödüllerinizi ne kadar amortismana tabi tutmak istediğinizi seçmek size kalmıştır (probleme bağlıdır). 0 iskonto faktörü, sadece anında ödüller aldığınız anlamına gelir. İndirim faktörünüz ne kadar yüksek olursa, ödülleriniz zamanla o kadar yayılır.$s$$γ < 1$

Sinir ağlarının bağlamı dışında saf Güçlendirme Öğrenimi öğrenmek için Deep-Q'yu denemeden önce Sutton & Barto kitabını okumanızı öneririm , bu da sizi kafa karıştırıcı olabilir.