Politika yineleme algoritması neden en uygun ilke ve değer işlevine yakınsar?

Andrew Ng'in pekiştirme öğrenimi hakkındaki ders notlarını okuyordum ve politika yinelemesinin neden ve optimum politika en iyi değer fonksiyonuna dönüştüğünü anlamaya çalışıyordum .$V^*$$\pi^*$

Politika yinelemesini hatırlayın:

$\text{Initialize $\pi$ randomly} \\ \text{Repeat}\{\\ \quad Let \ V := V^{\pi} \text{ \\for the current policy, solve bellman's eqn's and set that to the current V}\\ \quad Let \ \pi(s) := argmax_{a \in A} \sum_{s'}P_{sa}(s') V(s')\\ \}$

Açgözlü bir algoritmanın neden en uygun politikaya ve en uygun değer işlevine götürmesi neden? (Açgözlü algoritmaların her zaman bunu garanti etmediğini veya yerel optima'larda takılıp kalmayacağını biliyorum, bu yüzden sadece algoritmanın en iyiliği için bir kanıt görmek istedim).

Ayrıca, bana göre politika yinelemesi, kümelenme veya gradyan inişine benzer bir şey. Kümelemeye, çünkü parametrelerin mevcut ayarıyla optimize ediyoruz. Degrade inişe benzer, çünkü sadece bazı işlevleri arttırıyor gibi görünen bir değer seçer. Bu iki yöntem her zaman optimal maksimuma yaklaşmaz ve bu algoritmanın bahsettiğim öncekilerden nasıl farklı olduğunu anlamaya çalışıyordum.

---

Bunlar benim düşüncelerim:

Diyelim ki bazı politikalarla başlıyoruz o zaman, ilk adımdan sonra, bu sabit politika için:$\pi_1$

$V^{\pi_1}(s) = R(s) + \gamma \sum_{s'}P_{s\pi_1(s)}(s')V^{\pi_1}(s')$

$V^{(1)} := V^{\pi_1}(s)$

Burada V ^ {(1)}, ilk yineleme için değer işlevidir. Sonra ikinci adımdan sonra değerini artırmak için yeni bir politika . Şimdi, yeni politika , algoritmanın ikinci adımını yaparsak aşağıdaki eşitsizlik geçerli olur:$\pi_2$$V^{\pi_1}(s)$$\pi_2$

$R(s) + \gamma \sum_{s'}P_{s\pi_1(s)}(s')V^{\pi_1}(s') \leq R(s) + \gamma \sum_{s'}P_{s\pi_2(s)}(s')V^{\pi_1}(s')$

Biz seçim Çünkü önceki adımda değer fonksiyonunu artırmak için ikinci aşamada (yani artırmak için . Şimdiye kadar, onun seçimi açık olduğunu sadece artabilmektedir V ^ {(1)}, çünkü bu şekilde . Ancak, karışıklığım tekrar adımında geliyor çünkü tekrar edip 1. adıma geri döndüğümüzde, aslında tamamen değiştiriyoruz çünkü yeni politika için yeniden hesaplıyoruz . Hangi verir:$\pi_2$$V^{(1)}$$\pi_2$$\pi_2$$V^{2}$$\pi_2$

$V^{\pi_2}(s) = R(s) + \gamma \sum_{s'}P_{s\pi_2(s)}(s')V^{\pi_2}(s')$

ama değil:

$V^{\pi_1}(s) = R(s) + \gamma \sum_{s'}P_{s\pi_2(s)}(s')V^{\pi_1}(s')$

i iyileştirmek için seçildiği için bu yeni bir değil, çünkü bir sorun gibi görünüyor . Temel sorun, yani geliştirmek için garanti yaparak yerine arasında değer fonksiyonu olduğunda, . Ancak yineleme adımında değerini , ancak değer işlevinin her tekrarda tekdüze bir şekilde geliştiğini nasıl garanti ettiğini göremiyorum çünkü değer fonksiyonunu iyileştirmek için hesaplandığında değer işlevleri$\pi_2$$V^{(1)}$$V^{\pi_2}$$pi_2$$R(s) + \gamma \sum_{s'}P_{s\pi_1(s)}(s')V^{\pi_1}(s')$$\pi_2$$pi_1$$V^{\pi_1}$$V^{\pi_1}$$V^{\pi_2}$$\pi_2$$V^{\pi_1}$ancak 1. adım değerini (bu kötüdür, çünkü I yalnızca önceki değer işlevini geliştirdi).$V^{\pi_1}$$V^{\pi_2}$$\pi_2$

Sanırım eksik olduğun kısım $V^{\pi_2} \ge V^{\pi_1}$ biz sipariş edebilirsiniz aynı nedenle garanti edilir $\pi_2 \ge \pi_1$. Temelde bir politikanın tanımı diğerinden daha iyi - değer fonksiyonunun tüm eyaletlerde daha büyük veya eşit olması. Bunu maksimize eden eylemleri seçerek garanti ettiniz - hiçbir durum değeri öncekinden daha kötü olamaz ve daha iyi bir maksimize edici eylem seçmek için sadece bir eylem seçeneği değiştiyse,$V^{\pi_2}(s)$ çünkü bu durum eskisinden daha yüksek olacak $V^{\pi_1}(s)$.

Üretilecek sonuçları en üst düzeye çıkarmayı seçtiğimizde $\pi_2$, ne olduğunu bilmiyoruz $V^{\pi_2}(s)$ herhangi bir devlet için olacak, ama bunu biliyoruz $\forall s: V^{\pi_2}(s) \ge V^{\pi_1}(s)$.

Bu nedenle, döngüden geri dönüp $V^{\pi_2}$ yeni politikanın öncekiyle aynı veya daha yüksek değerlere sahip olması garanti edilir ve politikayı tekrar güncelleme söz konusu olduğunda, $\pi_3 \ge \pi_2 \ge \pi_1$.

Önce Politika İterasyon Algoritmasının neden çalıştığını görelim. İki adımı vardır.

Politika Değerlendirme Adımı:

$v_n = r_{d_n} + \gamma P_{d_n}v_n$ lineer denklemler sisteminin genel vektör şeklidir.

Burada, şartlar $r_{d_n}, P_{d_n}$ anında ödül ve geçiş matrisinin ilgili satırlarıdır.

Bu şartlar politikaya bağlıdır $\Pi_n$

Yukarıdaki denklem sistemini çözerek $v_n$

Politika Geliştirme Adımı:

Yeni bir politika bulabildiğimizi varsayalım $\Pi_{n+1}$ öyle ki

$$\begin{align} r_{d_n+1} + \gamma P_{d_n+1}v_n & \ge r_{d_n} + \gamma P_{d_n}v_n \\ \implies r_{d_n+1} & \ge [I - \gamma P_{d_n+1}]v_n \quad \text{say this is eqn. 1}\\ \end{align}$$

Şimdi, yeni politikaya dayanarak $\Pi_{n+1}$, bulabiliriz $v_{n+1} = r_{d_{n+1}} + \gamma P_{d_{n+1}}v_{n+1}$diyelim ki bu denklem 2.

Bunu göstereceğiz $v_{n+1} \ge v_n$ ;

yani esasen tüm devletler için yeni seçilen politika $\Pi_{n+1}$ önceki politikaya göre daha iyi bir değer verir $\Pi_{n}$

Kanıt:

Denklem 2'den,

$[I - \gamma P_{d_{n+1}}]v_{n+1} = r_{d_n+1}$

itibaren $1 \&2$, sahibiz

$v_{n+1} \ge v_{n}$

Esasen, her yinelemede değerler monoton olarak artmaktadır.

Politika Entegrasyonunun neden yerel bir maksimumda kalmayacağını anlamak önemlidir.

Politika, devlet eylem alanından başka bir şey değildir.

Her politika yineleme adımında, arasında farklı olan en az bir eyalet eylemi bulmaya çalışırız. $\Pi_{n+1}$ ve $\Pi_{n}$ ve bak bakalım $\quad r_{d_n+1} + \gamma P_{d_n+1}v_n \ge r_{d_n} + \gamma P_{d_n}v_n$. Ancak koşul yerine getirildiğinde, çözümü yeni lineer denklemler sistemine hesaplayacağız.

üstlenmek $\Pi^*$ ve $\Pi^\#$ sırasıyla küresel ve yerel optimumdur.

, ima $v_* \ge v_\#$

Algoritmanın yerel optimumda takılı kaldığını varsayın.

Bu durumda, politika geliştirme adımı yerel optimum durum eylem alanında durmaz $\Pi^\#$, en az bir devlet eylemi olduğu için $\Pi^*$ hangisinden farklı $\Pi^\#$ ve daha yüksek bir $v_{*}$ nazaran $v_{\#}$

veya başka bir deyişle,

$[I-\gamma P_{d_*}]v_* \ge [I-\gamma P_{d_*}]v_{\#}$

$\implies r_{d_*} \ge [I-\gamma P_{d_*}]v_{\#}$

$\implies r_{d_*} + \gamma P_{d_*}v_{\#} \ge v_{\#}$

$\implies r_{d_*} + \gamma P_{d_*}v_{\#} \ge r_{d_\#} + \gamma P_{d_\#}v_\#$

Bu nedenle, Politika yinelemesi yerel bir optimumda durmaz