REINFORCE algoritmasındaki indirim oranı neden iki kez görünüyor?

11

Takviye Öğrenme: Richard S. Sutton ve Andrew G. Barto'nun Bir Giriş (tam taslak, 5 Kasım 2017) adlı kitabını okuyordum .

271 Sayfasında, epizodik Monte-Carlo Politika-Gradyan Yöntemi için sözde kod sunulmaktadır. Bu sahte kod bakarak ben neden indirim oranı 2 kez, bir kez güncelleme durumunda ve dönüş içinde ikinci kez göründüğünü anlayamıyorum. [Aşağıdaki şekle bakın]

Görünüşe göre adım 1'den sonraki adımların geri dönüşü, ilk adımın geri dönüşünün sadece bir kesimi. Ayrıca, kitapta sadece bir sayfaya bakarsanız, sadece 1 indirim oranına sahip bir denklem bulursunuz (geri dönüş içindeki).

O zaman yalancı kod neden farklı görünüyor? Tahminimce bir şeyi yanlış anlıyorum:

\begin{matrix} (13.6) & θ_{t + 1} \dot{=} θ_{t} + α {G,}_{t} \frac{\nabla_{θ} π ({bir}_{t} | S_{t}, θ_{t})}{π ({bir}_{t} | S_{t}, θ_{t})} . \end{matrix}

${\mathbf{\theta}}_{t+1} ~\dot{=}~\mathbf{\theta}_t + \alpha G_t \frac{{\nabla}_{\mathbf{\theta}} \pi \left(A_t \middle| S_t, \mathbf{\theta}_{t} \right)}{\pi \left(A_t \middle| S_t, \mathbf{\theta}_{t} \right)}. \tag{13.6}$

— Diego Orellana
kaynak

5

İndirim faktörü iki kez görünür ve bu doğrudur.

Bunun nedeni, epizodik bir sorun için (gradyanı alarak) REINFORCE'da en üst düzeye çıkarmaya çalıştığınız işlevin belirli bir (dağıtım) başlangıç durumundan beklenen dönüş olmasıdır:

J (θ) = E_{π (θ)} [{G,}_{t} | S_{t} = s_{0}, t = 0]

$J(\theta) = \mathbb{E}_{\pi(\theta)}[G_t|S_t = s_0, t=0]$

Bu nedenle, atak sırasında, ne zaman döner örnek , vs bunlar belirtildiği gibi indirim faktörü ile ikinci kez indirgenmiş Eğer çözme sorunun, daha az alakalı olacaktır. Epizodik bir problem ve ile aşırı uçta, REINFORCE sadece ilk eylem için en uygun politikayı bulacaktır. $G_1$ $G_2$ $\gamma = 0$

Aktör-Kritik gibi sürekli problemlerde çalışan diğer algoritmalar için farklı formülasyonlar kullanır , bu nedenle faktörüne sahip değildir . $J(\theta)$ $\gamma^t$

— Neil Slater
kaynak

5

Neil'in cevabı zaten (ekstra ile yalancı kod neden olarak bazı sezgi sağlayan terim) doğrudur. $\gamma^t$

Ek olarak, hiçbir şeyi yanlış anlamadığınızı açıklığa kavuşturmak istiyorum , kitaptaki Denklem (13.6) gerçekten sahte koddan farklı .

Şimdi, burada bahsettiğiniz kitabın baskısı yok, ancak 22 Mart 2018'den sonra taslağım var ve bu konudaki metin benzer görünüyor. Bu baskıda:

326 Sayfanın sonuna doğru , Politika Gradyan Teoremine ilişkin kanıtlarında olacağı açıkça belirtilmektedir . $\gamma = 1$
Bu kanıt sonunda 329. sayfada aynı Denklem (13.6) 'ya yol açar.
Sözde kodun hemen altında, sayfa 330, aslında Denklem ve sözde kod arasındaki farkı kısaca ele alırlar, bu farkın varsayımından kaynaklandığını söylerler . $\gamma = 1$
Hemen altında, Alıştırma 13.2'de , olduğu durumda değiştirilmiş ispatı elde etmek istiyorsanız neye bakmanız gerektiğine dair bazı ipuçları veriyorlar . $\gamma < 1$

— Dennis Soemers
kaynak

2

Teşekkürler. Üçüncü taslağınızın açıklaması 2017 taslağında eksikti.

— Diego Orellana

2

@DiegoOrellana Artık 22 Mart taslağa bir bağlantı bulamıyor, daha sonra taslak (söz bir tarih bulamıyor) olduğu görülmektedir burada . Bu sürüm aslında süslü bir kapağa sahip, bu yüzden bir taslak yerine son bir versiyon olabilir. Bağlantı gelecekte koparsa, burada yeni bir bağlantının kurulacağından şüpheleniyorum .

— Dennis Soemers

3

İnce bir konu.

Orijinal makaledeki A3C algoritmasına bakarsanız (sahte kod için p.4 ve ek S3), aktör-eleştirel algoritması (hem epizodik hem de devam eden problemlerle aynı algoritma) aktöre göre bir gama faktörü tarafından kapatılır. Sutton ve Barto kitabındaki epizodik problemler için eleştirel sahte kod ( http://incompleteideas.net/book/the-book.html sayfasının Ocak 2019 baskısı s.332 ). Sutton ve Barto kitabı, resminizde etiketlenmiş ekstra "ilk" gama sahiptir. Peki, kitap ya da A3C kağıdı yanlış mı? Pek sayılmaz.

Anahtar s. Sutton ve Barto kitabının 199'u:

Eğer iskonto varsa (gama <1), (9.2) 'nin ikinci döneminde bir faktör eklenerek yapılabilecek bir sonlandırma biçimi olarak ele alınmalıdır.

Dikkat çeken konu, iskonto faktör gama için iki yorum olmasıdır:

Gelecekteki uzak ödüllere daha az ağırlık veren çarpma faktörü.
Simüle edilmiş bir yörüngenin herhangi bir zaman adımında sahte bir şekilde sona erme olasılığı, 1 - gama. Bu yorum, devam eden vakalar için değil, sadece epizodik vakalar için anlamlıdır.

Değişmez uygulamalar:

Gelecekteki ödülleri ve ilgili miktarları (V veya Q) gama ile çarpmanız yeterlidir.
Bazı yörüngeleri simüle edin ve her adım adımında rastgele sonlandırın (1 - gama). Sonlandırılmış yörüngeler hemen veya gelecekteki hiçbir ödül vermez.

$G \nabla\ln\pi(a|s)$

$\gamma^2 G \nabla\ln\pi(a|s)$ $0.81 G \nabla\ln\pi(a|s)$

$G \nabla\ln\pi(a|s)$ $G$

Hangi gamma yorumunu seçerseniz seçin, ancak algoritmanın sonuçlarına dikkat etmelisiniz. Şahsen ben daha basit olduğu için yorum 1'e sadık kalmayı tercih ediyorum. Bu yüzden algoritmayı Sutton ve Barto kitabında değil, A3C kağıdında kullanıyorum.

Sorunuz REINFORCE algoritmasıyla ilgiliydi, ancak ben aktör eleştirmeni tartışıyorum. İki gama yorumu ve REINFORCE'daki ekstra gama ile ilgili aynı konuya sahipsiniz.

— toto2
kaynak