Hamilton-Jacobi-Bellman denklemini çözme; iyimserlik için gerekli ve yeterli?


13

Aşağıdaki diferansiyel denklemi göz önünde bulundurun \ Begin {align} \ nokta x (t) = f (x (t), u (t)) \ Ucu {hizalama} burada $ x $ durum ve $ u $ kontrol değişkenidir. Çözüm tarafından verilir \ Begin {align} x (t) = x_0 + \ int ^ t_0f (x (s), u (s)) ds. \ Ucu {hizalama} $ x_0: = x (0) $ verilen başlangıç ​​durumu.

Şimdi aşağıdaki programı göz önünde bulundurun \ Begin {align} & amp; V (x_0): = \ max_u \ int ^ \ infty_0 e ^ {- \ rho t} F (x (t), u (t)) dt \\ s.t. ~ & amp; \ dot x (t) = f (x (t), u (t)) \\ & amp; x (0) = x_0 \ Ucu {hizalama} nerede $ \ rho & gt; 0 $, zaman tercihini belirtir, $ V (\ cdot) $, değerdir ve $ F (\ cdot) $, amaç bir fonksiyondur. Klasik bir ekonomik uygulama Ramsey-Cass-Koopmans'ın optimal büyüme modelidir. Hamilton-Jacobi-Bellman denklemi şöyle verilir: \ Begin {align} \ rho V (x) = \ max_u [F (x, u) + V '(x) f (x, u)], \ quad \ forall t \, [0, \ infty). \ Ucu {hizalama}

Diyelim ki HJB'yi $ V $ için çözdüm. Optimal kontrol daha sonra tarafından verilir \ Begin {align} u ^ * = \ arg \ max_u [F (x, u) + V '(x) f (x, u)]. \ Ucu {hizalama} Durum için en uygun yörüngeleri alacağım ve $ \ {(x ^ * (t), u ^ * (t)) kontrolü: t \ in [0, \ infty) \} $.

wiki makale diyor

... fakat tüm devlet alanı üzerinde çözüldüğünde, HJB denklemi, optimum için gerekli ve yeterli bir koşuldur.

Bertsekas'ta (2005) Dinamik Programlama ve Optimal Kontrol , Cilt 1, 3. baskı, Teklif 3.2.1'de, $ V $ için çözmenin en uygun maliyet fonksiyonu ve ilgili $ u ^ * $ 'nın en uygun olduğunu belirtir. Ancak, açıkça bir yeterlilik teoremi olarak ilan ediyor.

Aslında, sadece HJB'yi çözüp ilişkili devleti ve kontrol yörüngelerini kurtardıysam, herhangi bir ek optimallik koşuluyla ilgilenmeme gerekmediğinden emin olmak istiyorum.

Çözüm

Denerim

HJB denkleminin kendisi tarafından gerekli koşulları maksimum prensipten türetebildiğimi düşünüyorum.

Hamiltonyen'i tanımla \ Begin {align} H (x, u, V '(x)): = F (x, u) + V' (x) f (x, u) \ Ucu {hizalama}

o zaman biz var \ Begin {align} \ rho V (x) = \ en fazla_u H (x, u, V '(x)) \ Ucu {hizalama}

hangisi \ Begin {align} V (x) = H (x, u ^ *, V '(x)) \ Ucu {hizalama}

$ Q: [0, \ infty) \ - \ mathbb rasgele bir işlev tanımlayın: $ q (0) = \ lim_ {t \ ila \ infty} q (t) = 0 $. Şimdi düzelt \ Begin {align} x = x ^ * + \ varepsilon q \ Ucu {hizalama}

burada $ \ varepsilon \ in \ mathbb {R} $ bir parametredir. Terimi, en üste çıkan hamiltonian'a takın. \ Begin {align} \ rho V (x ^ * + \ varepsilon q) = H (x ^ * + \ varepsilon q, u ^ *, V '(x ^ * + \ varepsilon q)). \ Ucu {hizalama}

$ \ Varepsilon = 0 $ 'da en uygun çözüme sahibiz. Böylece birinci dereceden bir şart elde etmek için $ \ varepsilon $ üzerindeki farklılık \ Begin {align} V'q = H_xq + H_ {V '} V''q. \ Ucu {hizalama}

Şimdi eşlenik değişkeni ile tanımlayın \ Begin {align} \ lambda = V '(x). \ Ucu {hizalama}

Zamanla ayırt \ Begin {align} \ dot \ lambda = V '' \ nokta x. \ Ucu {hizalama}

ve not edin \ Begin {align} H_ {V '} = f (x, u) = \ nokta x. \ Ucu {hizalama}

Her şeyi sağlayan odaya takın \ Begin {align} \ rho \ lambda = H_x + \ dot \ lambda. \ Ucu {hizalama}

Bu oldukça fazla. Dolayısıyla HJB'yi çözmek gerçekten de iyilik için gerekli ve yeterlidir (burada belirtilmemiştir). Birisi bunu wikiye eklemeli. Bu tür sorunları düşünen insanlar için zaman kazandırabilir (sanırım çok fazla olmayacak).

Bununla birlikte, enine hal durumu \ Begin {align} \ lim_ {t \ - \ infty} e ^ {- \ rho t} \ lambda (t) = 0 \ Ucu {hizalama} kayıp.

II Girişimi

Ödeme işlevini tanımlayın \ Begin {align} J (u): = \ int ^ \ infty_0 e ^ {- \ rho t} F (x, u) dt \ Ucu {hizalama}

Bunu not et \ Begin {align} \ int ^ \ infty_0 {e ^ {- \ rho t} \ lambda [f (x, u) - \ nokta x] dt} = 0 \ Ucu {hizalama} $ \ dot ile tanımlayın x = f (x, u) $. Tarafsız Terimi, ödeme işlevine ekleyin \ Begin {align} J (u) & amp; = \ int ^ \ infty_0 e ^ {- \ rho t} [F (x, u) + \ lambda f (x, u)] dt - \ int ^ \ infty_0 {e ^ {- \ rho t} \ lambda \ dot xdt} \\ & amp; = \ int ^ \ infty_0 e ^ {- \ rho t} H (x, u, \ lambda) - \ int ^ \ infty_0 {e ^ {- \ rho t} \ lambda \ dot xdt} \ Ucu {hizalama}

Rhs verimine göre doğru terimin parçalarının entegrasyonu \ Begin {align} \ int ^ \ infty_0 {e ^ {- \ rho t} \ lambda \ dot xdt} = [e ^ {- \ rho t} \ lambda (t) x (t)] ^ \ infty_0 - \ int ^ \ infty_0 { e ^ {- \ rho t} x (\ nokta \ lambda- \ rho \ lambda) dt} \ Ucu {hizalama}

Bu terimi tekrar yayınla \ Begin {align} J (u) = \ int ^ \ infty_0 e ^ {- \ rho t} [H (x, u, \ lambda) + x (\ dot \ lambda- \ rho \ lambda)] dt - \ lim_ {t \ - \ infty} e ^ {- \ rho t} \ lambda (t) x (t) + \ lambda (0) x (0) \ Ucu {hizalama}

Tanımlamak \ Begin {align} x & amp; = x ^ * + \ varepsilon q \\ u & amp; = u ^ * + \ varepsilon p \ Ucu {hizalama}

hangi verir \ Begin {align} J (\ varepsilon) = \ int ^ \ infty_0 e ^ {- \ rho t} [H (x ^ * + \ varepsilon q, u ^ * + \ varepsilon p, \ lambda) + (x ^ * + \ varepsilon q ) (\ dot \ lambda- \ rho \ lambda)] dt - \ lim_ {t \ - \ infty} e ^ {- \ rho t} \ lambda (t) [x ^ * (t) + \ varepsilon q (t )] + \ lambda (0) x (0) \ Ucu {hizalama}

Maksimum $ için FOC J_ \ varepsilon = 0 $ \ Begin {align} J_ \ varepsilon = \ int ^ \ infty_0 e ^ {- \ rho t} [H_x q + H_u p + q (\ nokta \ lambda- \ rho \ lambda)] dt - \ lim_ {t \ to \ infty} e ^ {- \ rho t} \ lambda (t) q (t) = 0 \ Ucu {hizalama}

$ Q $ ve $ p $ sınırsız olduğundan, sahip olmamız gereken \ Begin {align} H_u & = 0 \\ H_x & amp; = \ rho \ lambda - \ dot \ lambda \\ \ lim_ {t \ - \ infty} e ^ {- \ rho t} \ lambda (t) & amp; = 0 \ Ucu {hizalama}


Henüz gerekli ve yeterli koşulları belirlediniz mi?
Jamzy

Bu hangi ekonomik bağlamda ortaya çıkıyor?
Stan Shunpike


1
Ben bu konu için daha uygun olduğunu düşünüyorum math.stackexchange.com çünkü gerçekten eko ile bağlantılı değil. Bir mod transfer edebilir.
clueless

Burada ne sorulduğundan emin değilim: eğer Bertsekas’ın HJB’yi çözdüğü yeterli Öyleyse "ek optimallik koşulları hakkında endişelenmek zorunda değilsin". HJB'nin çözülmemesi durumunda "gerekli" ve "yeterli" ifadesi ortaya çıkacaktır - ki bu durumda "bu bir çözüm olmadığı anlamına gelmez" demişti. Bu arada, Girişim I ve II, buradaki değerli içeriktir - birincisi HJB ve Optimal Control ile bir bağlantıyı gösterir, ikincisi Optimal Kontrol FOC'larının nasıl elde edilebileceğini gösterir.
Alecos Papadopoulos

Yanıtlar:


1

(Bu belki bir yorum olarak kabul edilmelidir.)

HJB denklemini çözdüyseniz, en uygun çözümü elde etmeniz yeterlidir. Dolayısıyla, sorunuza cevap verdiğine inandığım "diğer iyimserlik koşullarıyla ilgilenmek zorunda değilsiniz".

Teoremin “gerekli” bileşeni hakkında endişelendiğiniz anlaşılıyor. İfadenin zorunluluk tarafı şöyledir: Eğer optimal bir çözüm varsa, HJB denklemine bir çözüm bulunmalıdır.

Bu özel sorunla çalışmadım, ancak genel olarak cevap, farklılaştırılabilir bir işlevin olmasını beklemiyor olmamızdır. Bunun yerine, genelleştirilmiş türevlere bakmamız ve HJB denklemini eşitsizliğe dönüştürmemiz gerekiyor. Bu durumda, bir "viskozite çözeltisi" alabilirsiniz. Genelleştirilmiş türevleri kullanacaksak, böyle bir çözümün her zaman var olduğunu kanıtlamak mümkün olabilir. Kanıtlarınıza göz attığınızda, farklılaşabildiğinizi varsaydığınız için gereklilik şartlarına yardımcı olmazlar.

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.