Neden her zaman diğer tüm politikalardan daha iyi veya eşit olan en az bir politika vardır?

Bir takviye öğrenme görevinin çözülmesi, kabaca uzun vadede çok ödül kazanan bir politika bulmak anlamına gelir. Sonlu MDP'ler için, en uygun politikayı tam olarak aşağıdaki şekilde tanımlayabiliriz. Değer işlevleri, ilkeler üzerinden kısmi bir sıralamayı tanımlar. Bir politika bir politika için eşit veya daha iyi olması tanımlanır beklenen getiri büyükse veya buna eşit tüm devletler için. Başka bir deyişle, yalnızca , tüm . Her zaman diğer politikalardan daha iyi veya ona eşit en az bir politika vardır. Bu optimal bir politika. $\pi$ $\pi'$ $\pi'$ $\pi \geq \pi'$ $v_\pi(s) \geq v_{\pi'}(s)$ $s \in \mathcal{S}$

markov-process reinforcement-learning

— sh1ng
kaynak

Puterman'ın "Markov Karar Süreçleri" bölüm 6.2'de çok ayrıntılı bir kanıt (Banach'ın sabit nokta teoremini kullanır) görünür.

— Toghs

Yanıtlar:

Alıntılanan bölümün hemen ötesinde, aynı paragraf aslında size bu politikanın ne olduğunu söyler: her eyalette en iyi eylemi gerçekleştirir. Bir MDP'de, bir eyalette gerçekleştirdiğimiz eylem, diğerlerinde gerçekleştirilen eylemlerin ödüllerini etkilemez, bu nedenle politikayı tek tek en üst düzeye çıkarabiliriz.

— Don Reba
kaynak

Bu cevap tamamen yanlış değil mi? Politika durumunu duruma göre optimize etmenin en uygun politikaya yol açtığını nasıl söyleyebilirsiniz? İ durumu üzerinde optimize durumunda ve beni alır ve daha sonra, optimize optimal değer fonksiyonu için iletkenler , ancak burada bir politika vardır suboptimal kurşunları ve optimal değer fonksiyonu den daha yüksektir . Böyle bir lanetleme analizi ile bunu nasıl ortadan kaldırabilirsiniz?

S_{t}

$S_t$

S_{t + 1}

$S_{t+1}$

S_{t + 1}

$S_{t+1}$

V_{t + 1}

$V_{t+1}$

S_{t}

$S_t$

S_{l}

$S_l$

S_{l}

$S_l$

V_{t + 1}

$V_{t+1}$

— MiloMinderbinder

Optimal ilkesi Eğer @MiloMinderbinder seçmektir , daha sonra değeri değerinden daha yüksektir .

S_{t}

$S_t$

S_{t + 1}

$S_{t+1}$

S_{t + 1}

$S_{t+1}$

S_{l}

$S_l$

— Don Reba

Benim hatam. Yazım hatası düzeltildi: 'Bu cevap tamamen yanlış değil mi? Politika durumunu eyaletlere göre optimize etmenin optimal politikaya yol açtığını nasıl söyleyebilirsin? İ durumu üzerinde optimize durumunda ve beni alır ve daha sonra, optimize optimal değer fonksiyonu için iletkenler ve ancak başka orada politika, için suboptimal yol açar da ve dolayısıyla değer fonksiyonu daha yüksektir ancak değeri fonksiyonu Bu altında daha yüksek bir eyalet bazında optimize ederek bulunan politikaya göre. Bu sizin tarafınızdan nasıl destekleniyor? '

S_{t}

$S_t$

S_{t + 1}

$S_{t+1}$

S_{t + 1}

$S_{t+1}$

V_{t + 2}

$V_{t+2}$

S_{t + 2}

$S_{t+2}$

S_{t}

$S_t$

S_{l + 1}

$S_{l+1}$

S_{t + 1}

$S_{t+1}$

V_{l + 1}

$V_{l+1}$

S_{t + 2}

$S_{t+2}$

— MiloMinderbinder

Bence tanımı ilk etapta gerçekleşmesini engelleyecektir, çünkü gelecekteki getirileri de hesaba katmalıdır.

V

$V$

— Flying_Banana

O zaman soru şu olurdu: neden var? Banach Sabit Nokta Teoremi'ni alamazsınız :-)

q_{*}

$q_*$

— Fabian Werner

Optimal bir politikanın varlığı açık değildir. Nedenini görmek için, değer işlevinin ilkeler alanı üzerinde yalnızca kısmi bir sıralama sağladığını unutmayın. Bu şu anlama gelir:

π^{'} \geq π ⟺ v_{π^{'}} (s) \geq v_{π} (s), \forall s \in S

$\pi' \geq \pi \iff v_{\pi'}(s) \geq v_{\pi}(s), \forall s \in S$

Bu yalnızca kısmi bir sıralama olduğundan, ve iki politikanın karşılaştırılabilir olmadığı bir durum olabilir . Başka bir deyişle, ve durum alanının alt kümeleri şu şekilde olur: $\pi_1$ $\pi_2$ $S_1$ $S_2$

v_{π^{'}} (s) \geq v_{π} (s), \forall s \in S_{1}

$v_{\pi'}(s) \geq v_{\pi}(s), \forall s \in S_1$

v_{π} (s) \geq v_{π^{'}} (s), \forall s \in S_{2}

$v_{\pi}(s) \geq v_{\pi'}(s),\forall s \in S_2$

Bu durumda, bir politikanın diğerinden daha iyi olduğunu söyleyemeyiz. Ancak sınırlı değer fonksiyonlarına sahip sonlu MDP'lerle uğraşıyorsak, böyle bir senaryo asla gerçekleşmez. Tam olarak bir optimal değer işlevi vardır, ancak birden çok optimal politika olabilir.

Bunun kanıtı için Banach Sabit Nokta teoremini anlamanız gerekir. Ayrıntılı bir analiz için lütfen bakınız .

— Karthik Thiagarajan
kaynak

$\newcommand{\mc}{\mathcal} \newcommand{\mb}{\mathbb}$

Ayar

Şu ortamlarda düşünüyoruz:

Ayrık eylemler
Ayrık durumlar
Sınırlı ödüller
Sabit politika
Sonsuz ufuk

En uygun politika şu şekilde tanımlanır: ve optimal değer fonksiyonu : Maksimum değere ulaşan bir dizi politika olabilir. Ancak yalnızca bir optimal değer işlevi vardır:

\begin{matrix} (1) & π^{*} \in \arg max_{π} V^{π} (s), \forall s \in S \end{matrix}

$\pi^\ast \in \arg \max_\pi V^\pi(s), \forall s \in \mc{S} \tag{1}$

\begin{matrix} (2) & V^{*} = max_{π} V^{π} (s), \forall s \in S \end{matrix}

$V^\ast = \max_\pi V^\pi (s), \forall s \in \mc S \tag{2}$

\begin{matrix} (3) & V^{*} = V^{π^{*}} \end{matrix}

$V^\ast = V^{\pi^\ast} \tag{3}$

Soru

tüm için aynı anda (1) yerine getiren en az bir olduğunu nasıl kanıtlayabilirim ? $\pi^\ast$ $s \in \mc{S}$

İspat taslağı

Konstrukt uygun denklemi bunun Denklem ile tanımına denk olduğunu aşama 2'de olacağını optimum değer fonksiyon, bir geçici vekil tanımı olarak kullanılır. (2).
$\begin{matrix} (4) & V^{*} (s) = max_{a \in A} [R (s, a) + γ \sum_{s^{'} \in S} T (s, a, s^{'}) V^{*} (s^{'})] \end{matrix}$ $V^\ast(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V^\ast(s^\prime)] \tag{4}$
Denk. (4) ve Denk. (2) yoluyla optimal değer fonksiyonunu tanımlamanın denkliğini türetin.

(Aslında kanıtta sadece ihtiyaç yönüne ihtiyacımız olduğunu unutmayın, çünkü Denk. (4) 'ün Denk. (4)' ü inşa ettiğimiz için yeterlilik açıktır.)
Denklem (4) için benzersiz bir çözüm olduğunu kanıtlayın.
2. adımda, 3. adımda elde edilen çözeltinin aynı zamanda Denklem (2) 'ye de bir çözüm olduğunu biliyoruz, bu nedenle optimal bir değer fonksiyonudur.
Optimal değer fonksiyonundan, her bir durum için Denk. (4) 'deki maksimize edici eylemi seçerek optimal bir politikayı kurtarabiliriz.

Adımların ayrıntıları

Yana , elimizdeki . Eğer varsa ve , öyle ki , biz maksimize ederek daha iyi bir ilke tercih üzerine . $V^\ast(s) = V^{\pi^\ast}(s) = \mb E_a [Q^{\pi^\ast}(s, a)]$ $V^{\pi^\ast}(s) \le \max_{a \in \mc A} Q^{\pi^\ast} (s, a)$ $\tilde{s}$ $V^{\pi^\ast} \neq \max_{a \in \mc A} Q^{\pi^\ast} (s, a)$ $Q^{\ast} (s, a) = Q^{\pi^\ast} (s, a)$ $a$

(=>)

Adım 1 ile devam eder.

(<=)

yani ise tatmin , sonra . $\tilde V$ $\tilde V(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) \tilde V(s^\prime)]$ $\tilde V(s) = V^\ast(s) = \max_\pi V^\pi(s), \forall s \in \mc S$

Tanımlama uygun Bellman operatörü olarak Hedefimiz , olduğunu kanıtlamaktır. . Bunu, Puterman [1] 'i takip eden iki sonucu birleştirerek gösteriyoruz :

\begin{matrix} (5) & T V (s) = max_{a \in A} [R (s, a) + γ \sum_{s^{'} \in S} T (s, a, s^{'}) V (s^{'})] \end{matrix}

$\mc T V(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V(s^\prime)] \tag{5}$

\tilde{V} = T \tilde{V}

$\tilde V = \mc T \tilde V$

\tilde{V} = V^{*}

$\tilde V = V^\ast$

a) , . $\tilde V \ge \mc T \tilde V$ $\tilde V \ge V^\ast$

b) , . $\tilde V \le \mc T \tilde V$ $\tilde V \le V^\ast$

Kanıt:

Herhangi biri için , Burada karar kuralı (belirli bir zamanda eylem profili), hemen ödülün vektör temsilidir indüklenen ve indüklenen geçiş matristir . $\pi = (d_1, d_2, ...)$

\begin{aligned} \tilde{V} & \geq T \tilde{V} = max_{d} [R_{d} + γ P_{d} \tilde{V}] \\ \geq R_{d_{1}} + γ P_{d_{1}} \tilde{V} \end{aligned}

$\begin{align} \tilde V &\ge \mc T \tilde V = \max_{d} [ R_d + \gamma \, P_d \tilde V] \\ &\ge R_{d_1} + \gamma \, P_{d_1} \tilde V \\ \end{align}$

d

$d$

R_{d}

$R_d$

d

$d$

P_{d}

$P_d$

d

$d$

Tümevarım yoluyla, herhangi bir , burada altındaki adım geçiş matrisini temsil eder . $n$

\tilde{V} \geq R_{d_{1}} + \sum_{i = 1}^{n - 1} γ^{i} P_{π}^{i} R_{d_{i + 1}} + γ^{n} P_{π}^{n} \tilde{V}

$\tilde V \ge R_{d_1} + \sum_{i=1}^{n-1} \gamma^i P_\pi^i R_{d_{i+1}} + \gamma^n P_\pi^n \tilde V$

P_{π}^{j}

$P_\pi^j$

j

$j$

π

$\pi$

Yana Elimizdeki Yani . Ve bu herhangi bir , b)

V^{π} = R_{d_{1}} + \sum_{i = 1}^{\infty} γ^{i} P_{π}^{i} R_{d_{i + 1}}

$V^\pi = R_{d_1} + \sum_{i=1}^{\infty}\gamma^i P_\pi^i R_{d_{i+1}}$

\tilde{V} - V^{π} \geq \underset{\to 0 as n \to \infty}{\underset{⏟}{γ^{n} P_{π}^{n} \tilde{V} - \sum_{i = n}^{\infty} γ^{i} P_{π}^{i} R_{d_{i + 1}}}}

$\tilde V - V^\pi \ge \underbrace{\gamma^n P_\pi^n \tilde V -\sum_{i=n}^{\infty}\gamma^i P_\pi^i R_{d_{i+1}}}_{\rightarrow 0 \ \text{as}\ n\rightarrow \infty}$

\tilde{V} \geq V^{π}

$\tilde V \ge V^\pi$

π

$\pi$

\tilde{V} \geq max_{π} V^{π} = V^{*}

$\tilde V \ge \max_\pi V^\pi = V^\ast$

1. adımdan itibaren.

Optimal Bellman operatörü normunda bir daralmadır , bkz. [2]. $L_\infty$

İspat: Herhangi bir , burada (*) 'da $s$

\begin{aligned} | T V_{1} (s) - T V_{2} (s) | & = | max_{a \in A} [R (s, a) + γ \sum_{s^{'} \in S} T (s, a, s^{'}) V_{1} (s^{'})] - max_{a^{'} \in A} [R (s, a^{'}) + γ \sum_{s^{'} \in S} T (s, a^{'}, s^{'}) V (s^{'})] | \\ \overset{(*)}{\leq} | max_{a \in A} [γ \sum_{s^{'} \in S} T (s, a, s^{'}) (V_{1} (s^{'}) - V_{2} (s^{'}))] | \\ \leq γ ‖ V_{1} - V_{2} ‖_{\infty} \end{aligned}

$\begin{align} \left\vert \mc T V_1(s) - \mc TV_2(s) \right\vert &= \left\vert \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V_1(s^\prime)] -\max_{a^\prime \in \mc A} [ R(s, a^\prime) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a^\prime, s^\prime) V(s^\prime)]\right\vert \\ &\overset{(*)}{\le} \left\vert \max_{a \in \mc A} [\gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) (V_1(s^\prime) - V_2(s^\prime))] \right\vert \\ &\le \gamma \Vert V_1 - V_2 \Vert_\infty \end{align}$

max_{a} f (a) - max_{a^{'}} g (a^{'}) \leq max_{a} [f (a) - g (a)]

$\max_a f(a) - \max_{a^\prime} g(a^\prime) \le \max_a [f(a) - g(a)]$

Böylece Banach sabit nokta teoremi ile benzersiz bir sabit noktası vardır. $\mc T$

Referanslar

[1] Puterman, Martin L. .. “Markov Karar Süreçleri: Kesikli Stokastik Dinamik Programlama.” (2016).

[2] A. Lazaric. http://researchers.lille.inria.fr/~lazaric/Webpage/MVA-RL_Course14_files/slides-lecture-02-handout.pdf

— LoveIris
kaynak