Taban çizgisi neden bazı zamanlardaki tarafsızlığa koşulludur?

Robotikte, takviye öğrenme tekniği bir robotun kontrol modelini bulmak için kullanılır. Ne yazık ki, çoğu politika gradyan yöntemi istatistiksel olarak önyargılıdır ve bu da robotu güvenli olmayan bir duruma getirebilir, bkz. Sayfa 2, Jan Peters ve Stefan Schaal: Motor becerilerin politika gradyanlarıyla takviye öğrenimi, 2008

Motor ilkel öğrenme ile sorunun üstesinden gelmek mümkündür çünkü politika gradyan parametresi optimizasyonu öğrenme adımlarını hedefe yönlendirir.

alıntı: “Degrade tahmini tarafsız ve öğrenme oranları toplamı (a) = 0 karşılarsa, öğrenme sürecinin en azından yerel bir minimum seviyeye yaklaşacağı garanti edilir [...] Bu nedenle, politika gradyanını yalnızca üretilen verilerden tahmin etmemiz gerekir bir görevin yürütülmesi sırasında. ”(Aynı kağıdın 4. sayfası)

In Berkeley RL sınıf için ödev Sorun 1, bu temel timestep t devletin bir fonksiyonudur çıkarılır eğer politika degrade hala tarafsız olduğunu göstermek ister.

Böyle bir ispatın ilk adımının ne olabileceği konusunda mücadele ediyorum. Birisi beni doğru yönde gösterebilir mi? İlk düşüncem, b (st) 'nin beklentisini T'ye koşullu hale getirmek için bir şekilde toplam beklenti yasasını kullanmaktı , ama emin değilim. Şimdiden teşekkürler :)

_{orijinal png denklemine bağlantı}

Yinelenen beklentiler yasasını kullanarak kişi:

$\triangledown _\theta \sum_{t=1}^T \mathbb{E}_{(s_t,a_t) \sim p(s_t,a_t)} [b(s_t)] = \nabla_\theta \sum_{t=1}^T \mathbb{E}_{s_t \sim p(s_t)} \left[ \mathbb{E}_{a_t \sim \pi_\theta(a_t | s_t)} \left[ b(s_t) \right]\right] =$

integrallerle yazılmış ve degradeyi (doğrusallık) içinde

$= \sum_{t=1}^T \int_{s_t} p(s_t) \left(\int_{a_t} \nabla_\theta b(s_t) \pi_\theta(a_t | s_t) da_t \right)ds_t =$

şimdi hareket edebilirsin $\nabla_\theta$ (doğrusallık nedeniyle) ve $b(s_t)$ (bağlı değil $a_t$) dış integralin iç integralini oluşturur:

$= \sum_{t=1}^T \int_{s_t} p(s_t) b(s_t) \nabla_\theta \left(\int_{a_t} \pi_\theta(a_t | s_t) da_t \right)ds_t=$

$\pi_\theta(a_t | s_t)$ (koşullu) olasılık yoğunluk fonksiyonudur, $a_t$ belirli bir sabit durum için $s_t$ eşittir $1$:

$= \sum_{t=1}^T \int_{s_t} p(s_t) b(s_t) \nabla_\theta 1 ds_t =$

şimdi $\nabla_\theta1 = 0$bu da kanıtın sonucudur.

Ödevin bu cevabın yazılmasından iki gün önce yapılmış olduğu anlaşılıyor, ancak yine de bir şekilde alakalı olması durumunda, ilgili sınıf notları (bu, ödevle birlikte soruda verilmesi halinde faydalı olurdu) burada .

Öğrenciye yapılan beklentinin ilk örneği, "Lütfen yinelenen beklentiler yasasını kullanarak 12 $\mathbb{E}_{\tau \sim p \theta(\tau)}$ devlet eylemi marjinalini yörüngenin geri kalanından ayırarak. "Denklem 12 budur.

$\sum_{t = 1}^{T} E_{\tau \sim p \theta(\tau)} [\nabla_\theta \log \pi_\theta(a_t|s_t)(b(s_t))] = 0$

Ders notları $\pi_\theta(a_t|s_t)$devlet eylemi marjinali olarak. Aranan bir kanıt değil, ayrıştırmayı gerçekleştirmek ve durum eylemi marjinalinin bağımsızlığına ne kadar ulaşılabileceğini göstermek için bir dizi cebirsel adımdır.

Bu alıştırma, ödevde bir sonraki adım için bir hazırlık niteliğindedir ve sadece müfredatında veya sınıf notlarında Toplam Beklenti Yasası içermeyen CS189, Burkeley'in Makine Öğrenmesine Giriş dersinin gözden geçirilmesi üzerine kuruludur.

İlgili tüm bilgiler yukarıdaki notlar için yukarıdaki linktedir ve sadece ara cebir gerektirir.