Q-öğreniminde neden Q harfi seçildi?

Neden Q harfi Q-öğrenme adına seçildi?

Çoğu harfler gibi bir kısaltma olarak seçilmiştir $\pi$ politikası ve için ayakta $v$ değeri simgeler. Ama Q'nun herhangi bir kelimenin kısaltması olduğunu düşünmüyorum.

— çizmek
kaynak

Mecazi anlayışımda Q, belirli bir durumdaki bir eylem için bir miktarı (ödül, maliyet veya optimize edilen her şey olarak adlandırın) ilişkilendiren bir işlevdir.

— knk

@sycorax çerçevelendi orijinal soru Q-öğrenme bir anlayış ima ve bir açıklama sunmak için, bağlam eklemek yardımcı olacaktır. OP herhangi bir açıklama yapmadan bir temel oluşturmadan kaybolacaktır.

— 16'da knk

Metaforik Q = Miktar yardımcı olur mu? Bunu devletlerin verdiği eylemin bir

— ölçüsü

Yanıtlar:

Herkesi hayal kırıklığına uğrattığım için üzgünüm, ama Q hiçbir şey ifade etmiyor :)

Q-learning, Watkins tarafından 1989'da doktora tezinde önerildi , bkz. S.96. Bu sayfadaki denklemdeki Q, her adımda belirli bir şekilde güncellenir. Q, belirli bir durumda eylemden beklenen dönüştür , bkz. Geri dönüş ekonomik veya oyun teorisi anlamındadır, yani bir fonksiyonun geri dönüşü gibi bir bilgisayar bilim terimi değil, indirimli olasılık ağırlıklı ödüller.

Dikkat edin, olasılık için P'yi ve ödül için R'yi nasıl kullandı, bu yüzden dönüş için Q'yu aldı. Bu kadar. Q harfinin seçimi için daha derin bir anlam yoktur.

— Aksakal
kaynak

Hiçbir derin anlam ama olduğu (P ve alfabesinde R ile Q'nun uyan o) ve açılımı bir anlam şey .

— Sextus Empiricus

@MartijnWeterings Hiç bir anlamı değil. Bu tamamen sözdizimsel bir mektup seçimidir, hiçbir anlamsal kaygısı yoktur.

— David Richerby

Elbette, semantik düşünceler az olabilir (ve latin veya Yunan harfleri, alfabenin farklı konumlarındaki harfler veya büyük harf ile küçük harf arasındaki farklar sözdizimi ve anlambilim arasında gri bir alan oluşturabileceği için bu tartışılabilir). Q'nun seçimini 'anlamlı' olarak görüyorum çünkü harf biçimi (biraz keyfi) bazı değişken / parametrenin anlamını genişletmek için ifade ediyor. Anlam, harf seçimi ile ilgilidir. U veya v seçildiğinde veya i, j, k veya x, y, z veya

iyi bir seçim olmazdı .

α, β, γ

$\alpha, \beta, \gamma$

— Sextus Empiricus

@MartijnWeterings, Q da sıraya benziyor , bu da biraz ilgili çağrışımlar getiriyor

— Aksakal

@Aksakal, bu Q'nun kullanımını güçlendiriyor olabilir. Ama, bunun güçlü olduğunu düşünmüyorum. Bu konu hakkında fazla bir bilgim yok, ama bu tezin hızlı bir incelemesinde,

harfinin

veya

gibi bir miktar için kullanılmış olması çok makul görünüyor . Sonunda 'action-value' gibi 'bazı isimler' verildi ama bu tezde kullanılan harfler alfabeye çok daha fazla bağlı görünüyor. Örn.

işlevleri için

değişkenleri için

değer işlevi için ve yaklaşık değerlerdir. , vb.

Q

$Q$

\sum_{i} R_{i} P_{i}

$\sum_i R_i P_i$

\sum_{i} V_{i} P_{i}

$\sum_i V_i P_i$

f

$f$

g

$g$

h

$h$

x

$x$

y

$y$

V

$V$

U

$U$

— Sextus Empiricus

$Q(s_t,a_t)\gets Q(s_t,a_t)+\alpha(r_t+\gamma \times \max_{a} Q(s_{t+1},a)-Q(s_t,a_t))$

But the actual question in my view is why Q-Learning is called so. Though there does not seem to be a satisfactory answer, this link mentions that Andrew Barto, who is one of the founders of Modern Reinforcement Learning, thinks that $Q$ stands for Quality, called so because it characterizes how good the result of pulling an arm would be.

— Ameet Deshpande
kaynak

Read that thesis and tell me how "quality" makes a sense in the context of the expected return

— Aksakal

Though I agree with you, the thesis was written after Watkins consulted Andy about a number of things. Andy may have had a better idea than you think he does.

— Ameet Deshpande

Quality doesn't even exist as a distinct concept in learning. You can use the word in its usual sense from English, of course. The expected return, on the other hand, is very well defined in game theory, there's no need to dilute it by attaching vague concepts such as quality. You're not maximizing quality, you're maximizing discounted rewards under the suitable probability measure. If you want to be a little more broad, then you can maximize the utility.

— Aksakal