Aşağıdaki diferansiyel denklemi göz önünde bulundurun \ Begin {align} \ nokta x (t) = f (x (t), u (t)) \ Ucu {hizalama} burada $ x $ durum ve $ u $ kontrol değişkenidir. Çözüm tarafından verilir \ Begin {align} x (t) = x_0 + \ int ^ t_0f (x (s), u (s)) ds. \ Ucu {hizalama} $ x_0: = x (0) $ verilen başlangıç durumu.
Şimdi aşağıdaki programı göz önünde bulundurun \ Begin {align} & amp; V (x_0): = \ max_u \ int ^ \ infty_0 e ^ {- \ rho t} F (x (t), u (t)) dt \\ s.t. ~ & amp; \ dot x (t) = f (x (t), u (t)) \\ & amp; x (0) = x_0 \ Ucu {hizalama} nerede $ \ rho & gt; 0 $, zaman tercihini belirtir, $ V (\ cdot) $, değerdir ve $ F (\ cdot) $, amaç bir fonksiyondur. Klasik bir ekonomik uygulama Ramsey-Cass-Koopmans'ın optimal büyüme modelidir. Hamilton-Jacobi-Bellman denklemi şöyle verilir: \ Begin {align} \ rho V (x) = \ max_u [F (x, u) + V '(x) f (x, u)], \ quad \ forall t \, [0, \ infty). \ Ucu {hizalama}
Diyelim ki HJB'yi $ V $ için çözdüm. Optimal kontrol daha sonra tarafından verilir \ Begin {align} u ^ * = \ arg \ max_u [F (x, u) + V '(x) f (x, u)]. \ Ucu {hizalama} Durum için en uygun yörüngeleri alacağım ve $ \ {(x ^ * (t), u ^ * (t)) kontrolü: t \ in [0, \ infty) \} $.
wiki makale diyor
... fakat tüm devlet alanı üzerinde çözüldüğünde, HJB denklemi, optimum için gerekli ve yeterli bir koşuldur.
Bertsekas'ta (2005) Dinamik Programlama ve Optimal Kontrol , Cilt 1, 3. baskı, Teklif 3.2.1'de, $ V $ için çözmenin en uygun maliyet fonksiyonu ve ilgili $ u ^ * $ 'nın en uygun olduğunu belirtir. Ancak, açıkça bir yeterlilik teoremi olarak ilan ediyor.
Aslında, sadece HJB'yi çözüp ilişkili devleti ve kontrol yörüngelerini kurtardıysam, herhangi bir ek optimallik koşuluyla ilgilenmeme gerekmediğinden emin olmak istiyorum.
Çözüm
Denerim
HJB denkleminin kendisi tarafından gerekli koşulları maksimum prensipten türetebildiğimi düşünüyorum.
Hamiltonyen'i tanımla \ Begin {align} H (x, u, V '(x)): = F (x, u) + V' (x) f (x, u) \ Ucu {hizalama}
o zaman biz var \ Begin {align} \ rho V (x) = \ en fazla_u H (x, u, V '(x)) \ Ucu {hizalama}
hangisi \ Begin {align} V (x) = H (x, u ^ *, V '(x)) \ Ucu {hizalama}
$ Q: [0, \ infty) \ - \ mathbb rasgele bir işlev tanımlayın: $ q (0) = \ lim_ {t \ ila \ infty} q (t) = 0 $. Şimdi düzelt \ Begin {align} x = x ^ * + \ varepsilon q \ Ucu {hizalama}
burada $ \ varepsilon \ in \ mathbb {R} $ bir parametredir. Terimi, en üste çıkan hamiltonian'a takın. \ Begin {align} \ rho V (x ^ * + \ varepsilon q) = H (x ^ * + \ varepsilon q, u ^ *, V '(x ^ * + \ varepsilon q)). \ Ucu {hizalama}
$ \ Varepsilon = 0 $ 'da en uygun çözüme sahibiz. Böylece birinci dereceden bir şart elde etmek için $ \ varepsilon $ üzerindeki farklılık \ Begin {align} V'q = H_xq + H_ {V '} V''q. \ Ucu {hizalama}
Şimdi eşlenik değişkeni ile tanımlayın \ Begin {align} \ lambda = V '(x). \ Ucu {hizalama}
Zamanla ayırt \ Begin {align} \ dot \ lambda = V '' \ nokta x. \ Ucu {hizalama}
ve not edin \ Begin {align} H_ {V '} = f (x, u) = \ nokta x. \ Ucu {hizalama}
Her şeyi sağlayan odaya takın \ Begin {align} \ rho \ lambda = H_x + \ dot \ lambda. \ Ucu {hizalama}
Bu oldukça fazla. Dolayısıyla HJB'yi çözmek gerçekten de iyilik için gerekli ve yeterlidir (burada belirtilmemiştir). Birisi bunu wikiye eklemeli. Bu tür sorunları düşünen insanlar için zaman kazandırabilir (sanırım çok fazla olmayacak).
Bununla birlikte, enine hal durumu \ Begin {align} \ lim_ {t \ - \ infty} e ^ {- \ rho t} \ lambda (t) = 0 \ Ucu {hizalama} kayıp.
II Girişimi
Ödeme işlevini tanımlayın \ Begin {align} J (u): = \ int ^ \ infty_0 e ^ {- \ rho t} F (x, u) dt \ Ucu {hizalama}
Bunu not et \ Begin {align} \ int ^ \ infty_0 {e ^ {- \ rho t} \ lambda [f (x, u) - \ nokta x] dt} = 0 \ Ucu {hizalama} $ \ dot ile tanımlayın x = f (x, u) $. Tarafsız Terimi, ödeme işlevine ekleyin \ Begin {align} J (u) & amp; = \ int ^ \ infty_0 e ^ {- \ rho t} [F (x, u) + \ lambda f (x, u)] dt - \ int ^ \ infty_0 {e ^ {- \ rho t} \ lambda \ dot xdt} \\ & amp; = \ int ^ \ infty_0 e ^ {- \ rho t} H (x, u, \ lambda) - \ int ^ \ infty_0 {e ^ {- \ rho t} \ lambda \ dot xdt} \ Ucu {hizalama}
Rhs verimine göre doğru terimin parçalarının entegrasyonu \ Begin {align} \ int ^ \ infty_0 {e ^ {- \ rho t} \ lambda \ dot xdt} = [e ^ {- \ rho t} \ lambda (t) x (t)] ^ \ infty_0 - \ int ^ \ infty_0 { e ^ {- \ rho t} x (\ nokta \ lambda- \ rho \ lambda) dt} \ Ucu {hizalama}
Bu terimi tekrar yayınla \ Begin {align} J (u) = \ int ^ \ infty_0 e ^ {- \ rho t} [H (x, u, \ lambda) + x (\ dot \ lambda- \ rho \ lambda)] dt - \ lim_ {t \ - \ infty} e ^ {- \ rho t} \ lambda (t) x (t) + \ lambda (0) x (0) \ Ucu {hizalama}
Tanımlamak \ Begin {align} x & amp; = x ^ * + \ varepsilon q \\ u & amp; = u ^ * + \ varepsilon p \ Ucu {hizalama}
hangi verir \ Begin {align} J (\ varepsilon) = \ int ^ \ infty_0 e ^ {- \ rho t} [H (x ^ * + \ varepsilon q, u ^ * + \ varepsilon p, \ lambda) + (x ^ * + \ varepsilon q ) (\ dot \ lambda- \ rho \ lambda)] dt - \ lim_ {t \ - \ infty} e ^ {- \ rho t} \ lambda (t) [x ^ * (t) + \ varepsilon q (t )] + \ lambda (0) x (0) \ Ucu {hizalama}
Maksimum $ için FOC J_ \ varepsilon = 0 $ \ Begin {align} J_ \ varepsilon = \ int ^ \ infty_0 e ^ {- \ rho t} [H_x q + H_u p + q (\ nokta \ lambda- \ rho \ lambda)] dt - \ lim_ {t \ to \ infty} e ^ {- \ rho t} \ lambda (t) q (t) = 0 \ Ucu {hizalama}
$ Q $ ve $ p $ sınırsız olduğundan, sahip olmamız gereken \ Begin {align} H_u & = 0 \\ H_x & amp; = \ rho \ lambda - \ dot \ lambda \\ \ lim_ {t \ - \ infty} e ^ {- \ rho t} \ lambda (t) & amp; = 0 \ Ucu {hizalama}