Takviye öğreniminde önyükleme tam olarak nedir?

Görünüşe göre, takviye öğrenmede, zamansal fark (TD) yöntemi bir önyükleme yöntemidir. Diğer yandan, Monte Carlo yöntemleri önyükleme yöntemi değildir.

RL'de önyükleme tam olarak nedir? RL'de önyükleme yöntemi nedir?

reinforcement-learning

— nbro
kaynak

RL'de önyükleme " aynı adımda tahmin edilen değer için güncelleme adımında bir veya daha fazla tahmini değer kullanılarak" olarak okunabilir .

Çoğu TD güncelleme kuralında, bu SARSA (0) güncellemesi gibi bir şey göreceksiniz:

Q (s, a) \leftarrow Q (s, a) + α (R_{t + 1} + γ Q (s^{'}, a^{'}) - Q (s, a))

$Q(s,a) \leftarrow Q(s,a) + \alpha(R_{t+1} + \gamma Q(s',a') - Q(s,a))$

Değeri gerçek değeri için bir tahmindir , ve aynı zamanda TD hedefi olarak adlandırılır. Bu bir bootstrap yöntemidir, çünkü kısmen başka bir Q değerini güncellemek için bir Q değeri kullanıyoruz. biçiminde , adımın hemen ödülü olarak ve aynı zamanda durum geçişinde küçük gözlemlenen gerçek veriler vardır . $R_{t+1} + \gamma Q(s',a')$ $Q(s,a)$ $R_{t+1}$ $s \rightarrow s'$

Eşdeğer güncelleme kuralının olabileceği Monte Carlo ile kontrast:

Q (s, a) \leftarrow Q (s, a) + α (G_{t} - Q (s, a))

$Q(s,a) \leftarrow Q(s,a) + \alpha(G_{t} - Q(s,a))$

Burada , zamanındaki toplam indirilmiş ödüldü, bu güncellemede, durum başladığını ve eylemi gerçekleştirdiğini varsayarak , bölümün sonuna kadar mevcut politikayı izledi. Teknik olarak, ; burada , terminal ödülünün ve durumunun zaman adımıdır. Özellikle, bu hedef değer hiç mevcut tahminleri (diğer Q değerlerinden) kullanmaz, sadece ortamdan bir dizi gözlem (yani ödül) kullanır. Bu nedenle, teknik olarak örneği olduğu için, gerçek değerinin tarafsız bir tahmini olması garanti edilir. $G_{t}$ $t$ $s$ $a$ $G_t = \sum_{k=0}^{T-t-1} \gamma^k R_{t+k+1}$ $T$ $Q(s,a)$ $Q(s,a)$ .

Bootstrapping'in ana dezavantajı, (veya ) başlangıç değerleriniz ne olursa olsun önyargılı olmasıdır . Bunlar büyük olasılıkla yanlıştır ve güncelleme sistemi çok fazla kendi kendine referans ve yeterli gerçek veri nedeniyle bir bütün olarak kararsız olabilir - bu sinir ağları kullanan politika dışı öğrenme (örneğin Q-öğrenme) ile ilgili bir sorundur. $Q(s',a')$ $V(s')$

Önyükleme olmadan, daha uzun yörüngeler kullanarak, genellikle yüksek varyans vardır , bu da pratikte, tahminler yakınsamadan önce daha fazla örneğe ihtiyacınız olduğu anlamına gelir. Bu nedenle, önyükleme ile ilgili sorunlara rağmen, eğer işe yarayabilirse, daha hızlı öğrenebilir ve genellikle Monte Carlo yaklaşımlarına göre tercih edilir.

Monte Carlo örnek tabanlı yöntemler ve farklı uzunluktaki yörüngelerden elde edilen sonuçların bir karışımını kullanarak önyükleme yapan tek adımlı TD yöntemleri arasında uzlaşabilirsiniz. Buna TD ( ) öğrenme $\lambda$ denir ve SARSA ( ) veya Q ( ) gibi çeşitli özel yöntemler vardır . $\lambda$ $\lambda$

— Neil Slater
kaynak

Bu muhtemelen başka bir soru olmalı. Ancak, cevaplamak istiyorsanız, neden ve için tahmin yapılır ?

R_{t + 1} + γ Q (s^{'}, a^{'})

$R_{t+1} + \gamma Q(s',a')$

Q (s, a)

$Q(s, a)$

— nbro

@nbro: Çünkü yakınsamada (bu denklemler ve çoğu RL, MDP'ler için Bellman denklemleri tarafından yönlendirilir). Devlet ile başlayan oluştu gerçek bir olay bakarak ve eylem sonra aslında bu beklenti numune edilir. Sorun, için sahip olduğunuz değerin büyük olasılıkla henüz yakınlaştırılmamış olması nedeniyle, örnek önyargılıdır.

Q (s, a) = E [R_{t + 1} + γ Q (S_{t + 1}, A_{t + 1}) | S_{t} = s, A_{t} = a]

$Q(s,a) = \mathbb{E}[R_{t+1} + \gamma Q(S_{t+1},A_{t+1}) | S_t = s, A_t =a]$

s

$s$

a

$a$

Q (S_{t + 1}, A_{t + 1})

$Q(S_{t+1},A_{t+1})$

— Neil Slater

Önyüklemeye geçmeden önce MC yöntemlerini fazda yanma olarak kullanmasını engelleyen nedir ? Yoksa bu bir alt vakası olarak düşünülebilir mi?

λ - T D

$\lambda-TD$

— n1k31t4

@ n1k31t4: Hiçbir şey bunu yapmayı engellemiyor ve geçerli bir RL yaklaşımı olmalı. TD'den ( ) farklı olurdu , ancak her iki algoritmadan da iyi özellikler almaya çalışmak fikri ile motive oldu. Bunu denemeniz ve öğrenme verimliliğini TD ( ) ile karşılaştırmanız gerekir - ayarlamak için hala hiper bir parametreniz vardır, bu da MC'yi çalıştıracak bölüm sayısıdır. Daha genel bir sürüm, değişmesine izin vermek - ile başlayın ve örneğin veya en uygun değer gibi görünen herhangi bir değere düşürün . Bununla birlikte, bunun 2 hiper parametresi, bozulma oranı ve hedefi

λ

$\lambda$

λ

$\lambda$

λ

$\lambda$

λ = 1

$\lambda = 1$

0.4

$0.4$

λ

$\lambda$

— Neil Slater

@NeilSlater, önyükleme kullanırken yakınsak olabilir mi? Neden Q (s ', a') sadece keyfi bir tahmin olduğu için Q (s, a) tahminini bozduğunu anlayamıyorum. Ayrıca, MC neden TD ile karşılaştırıldığında yüksek bir varyansa sahiptir?

— d56

Genel olarak, RL'deki önyükleme, bir değeri bazı kesin değerlere değil, bazı tahminlere göre güncellediğiniz anlamına gelir . Örneğin

Artımlı Monte Carlo Politika Değerlendirme güncellemeleri:

$V(S_t) = V(S_t) + \alpha(G_t - V(S_t))$

TD (0) Politika Değerlendirme güncellemeleri:

$V(S_t) = V(S_t) + \alpha(R_{t+1} + \gamma V(S_{t+1}) - V(S_t))$

TD (0) 'de, geri dönüş durumu başlayarak olan tahmini ile (bootstrap) MC kullandığımız ise tam dönüş . $s$ $R_{t+1} + \gamma V(S_{t+1})$ $G_t$

— plopd
kaynak