Lineer fonksiyon yaklaşımı ile ağırlıkların Q-değerlerine nasıl sığacağı

Pekiştirme öğrenmesinde doğrusal fonksiyon yaklaşımı genellikle büyük durum uzayları olduğunda kullanılır. (Arama tabloları mümkün olmadığında.)

Lineer fonksiyon yaklaşımı ile $Q-$ değeri formu,

S (s, bir) = w_{1} f_{1} (s, bir) + w_{2} f_{2} (s, bir) + \dots,

$Q(s,a) = w_1 f_1(s,a) + w_2 f_2(s,a) + \cdots,$

burada ağırlıklar ve özelliklerdir. $w_i$ $f_i$

Özellikler kullanıcı tarafından önceden tanımlanmıştır. Sorum şu ki, ağırlıklar nasıl belirlenir?

öğrenme üzerine fonksiyon yaklaşımı ile ilgili bazı ders slaytlarını okudum / . Birçoğunun takip eden doğrusal regresyon slaytları var. Onlar sadece slayt olduklarından, eksik olma eğilimindedirler. İki konu arasındaki bağlantının / ilişkinin ne olduğunu merak ediyorum. $Q-$

machine-learning feature-selection reinforcement-learning

— CGO
kaynak

Fonksiyon yaklaşımı temel olarak bir regresyon problemidir (genel anlamda, yani sınıfın ayrık olduğu sınıflamaya zıttır), yani kişi girdiden ( $f(s,a)$ ) gerçek değerli bir fonksiyon eşlemesini öğrenmeye çalışır. çıkış $Q(s,a)$ . Tüm giriş / çıkış değerlerinin tam bir tablosuna sahip olmadığımızdan, bunun yerine $Q(s,a)$ 'yı aynı anda öğrenin ve tahmin edin, parametreler (burada: $w$ ağırlıkları ) doğrudan verilerden hesaplanamaz. Buradaki yaygın yaklaşım gradyan iniş kullanmaktır .

İşte Değer Fonksiyonu Yaklaşımı ile $Q(s,a)$ öğrenmek için genel algoritma

Başlatma parametre vektörü $w=(w_1,w_2,....,w_n)$ rastgele (örn [0,1])
Her bölüm için:
1. $s\leftarrow$ bölümün başlangıç durumu
2. $a\leftarrow$ politika tarafından verilen eylem $\pi$ (tavsiye: $\epsilon$ -gözlü)
3. Aksiyon al $a$ , ödül gözlemlemek $r$ ve bir sonraki devlet $s'$
4. $w\leftarrow w+ \alpha(r+\gamma * max_{a'}Q(s',a') - Q(s,a)) \vec\nabla_wQ(s,a)$
5. $s\leftarrow s'$
$s$ terminal olana kadar 2-5 tekrarlayın

nerede ...

$\alpha\in[0,1]$ öğrenme oranıdır
$\gamma\in[0,1]$ iskonto oranıdır
$max_{a'}Q(s',a')$ eylem $a'$ durum içinde $s'$ maksimize $Q(s',a)$
$\vec\nabla_wQ(s,a)$ , $Q(s,a)$ nın $w$ cinsinden gradyanıdır. Lineer bir durumda, gradyan bir vektör basitçe $(f_1(s,a),...,f_n(s,a))$

Parametreler / ağırlık güncellemesi (4. adım) şu şekilde okunabilir:

$(r+\gamma * max_a'Q(s',a')) - (Q(s,a))$ tahmin arasındaki hata $Q(s,a)$ ve için "gerçek" bir değer $Q(s,a)$ şimdielde edilenödül $r$ olanPLUS,daha sonra açgözlü politikayı izleyerek beklenen, indirimli ödülüARTIYOR $\gamma * max_a'Q(s',a')$
Böylece parametre / ağırlık vektörü ayarlanan ölçülen hata miktarıyla en dik yöne ( $\vec\nabla_wQ(s,a)$ gradyanı ile verilir) kaydırılır . $\alpha$

Ana kaynak:

Bölüm 8 (Genel olarak önerilen) kitabın Değer Yaklaşımı Takviye Öğrenimi: Sutton ve Barto'nun Bir Tanıtımı (Birinci Baskı). Genel algoritma, yerine $Q(s,a)$ hesaplamak için yapıldığı için değiştirildi . Degrade inişe odaklanmak için uygunluk izlerini düşürdüm , bu nedenle sadece bir adım yedekleme kullanıyorum $V(s)$ $e$

Diğer referanslar

Mnih tarafından Derin Takviye ile Atari Oynamak , geri yayılmış Sinir Ağları (Gradient Descent'in regresyon algoritmasına dahil edildiği ile $Q(s,a)$ öğrenen harika bir pratik örnek gösterir .
Geist ve Pietquin tarafından Parametrik Değer Fonksiyon Yaklaşımı Kısa Bir Anket . Umut verici görünüyor, ama henüz okumadım.

— steffen
kaynak

Barto & Sutton için kırık link! Şimdi burada -> incompleteideas.net/book/the-book.html :) ve ebook olarak incompleteideas.net/book/ebook ama bir mobi dosyası nerede bulacağımı bilmiyorum

— grisaitis

Q (s, a) 'nın gradyanı, her bir elementin fi (s, a) olduğu wa sütunu vektörüne göre değil, dediğin gibi tüm fi'nin toplamı değil mi? Amaç, her bir ağırlığın çarptığı özelliğin değerine göre değiştirilmesidir.

— Miguel Saraiva

@MiguelSaraiva Evet, düzeltti. Çok teşekkür ederim.

— steffen