Splittet Değer Fonksiyonu ve Hamilton-Jacobi-Bellman denklemi

Genel problem

Let $k\in\mathbb{R}_+$ , durum değişkeni olarak sabit bir noktasına (eyer) ve bir değer fonksiyonunu. Sorun, değer fonksiyonunun, anahtarın sabit noktada olduğu iki ayrı fonksiyonel forma sahip olmasıdır.$k=k^*$$v(k)$

1. Tez konusu problemler için referansınız var mı?
2. Aşağıdaki modele bir çözümün yaklaştığını düşünüyor musunuz?
3. Kontrol / politika işlevinde bir bükülme ne olacak?

model

Let ve durumudur. kontrolleri ile olan iki oyuncu var . Üretim . Ücretler ve faizler, , ve , sırasıyla. Devlet için hareket yasası da bir eyer var burada bazı parametrelere bağlı. Fayda fonksiyon tarafından verilir k ∈ [ 0 , 2 ] i = 1 , 2 τ i ∈ [ 0 , 1 ] f : [ 0 , 2 ] → R + w 1 = f ( k ) - f ′ ( k ) k w 2 = f ( 2 - k ) $t\in[0,\infty)$$k\in[0,2]$$i=1,2$$\tau_i\in[0,1]$$f:[0,2]\to\mathbb{R}_+$$w_1=f(k)-f'(k)k$r, 1 = f ' ( k ) - τ 1 r, 2 = f ' ( 2 - k ) - τ 2 ˙ k = r 1 - r 2 . k ∗ = 1 , τ ∗ 1 = τ ∗ 2 τ ∗ ı$w_2=f(2-k)-f'(2-k)(2-k)$$r_1=f'(k)-\tau_1$$r_2=f'(2-k)-\tau_2$

$$\begin{align} \dot{k}=r_1-r_2. \end{align}$$ $$\begin{align} k^*=1,~ \tau^*_1=\tau^*_2 \end{align}$$ $\tau_i^*$ $$\begin{align} u(g_i,c_i)=h(g_i)+c_i \end{align}$$ burada . Genel yarar: ve tüketim ve sahip bazı bedelini gösteren . Geri ödeme fonksiyonları daha sonra ileg i = τ i k c 1 = { w 1 + r 1 k + ∫ 1 k [ r 2 - a ( θ ) ] d θ$u_g>0<u_c$$g_i=\tau_i k$ c2={ w 2 + r 2 $$\begin{align} c_1=\begin{cases} w_1+r_1k+\int^1_k{[r_2-a(\theta)]d\theta},\quad & k\in[0,1)\\ w_1+r_1,& k\in[1,2] \end{cases} \end{align}$$ bir:[0,1]→R+,b:[1,2]→R $$\begin{align} c_2=\begin{cases} w_2+r_2,\quad & k\in[0,1)\\ w_2+r_2(2-k)+\int^k_1{[r_1-b(\theta)]d\theta},& k\in[1,2] \end{cases} \end{align}$$ $a:[0,1]\to\mathbb{R}_+,~b:[1,2]\to\mathbb{R}_+$j ı ( τ i , τ j ) = ∫ ∞ iken 0 E - ρ t ( h ( g i ) + c i ) d t ρ > $\theta\in[0,2]$ $$\begin{align} j_i(\tau_i,\tau_j)=\int^\infty_0{e^{-\rho t}(h(g_i)+c_i)dt} \end{align}$$ $\rho>0$zaman tercih oranı. Ve değer işlevleri Her oyuncu için Hamilton-Jacobi-Bellman (HJB) denklemlerini ayarlama \ başlar. {align} \ rho v_i (k) = \ max _ {\ tau_i} h (g_i) + c_i + v'_i ( k) \ dot {k}. \ end {align} Öncelikle, \ tau_2 denge seviyesini \ tau ^ * düzelteceğim . Sonra oyuncu 1 için HJB okurρ v ı ( k ) = maks τ i h ( g i ) + c i + v ' i ( k ) ˙ k . τ2τ $$\begin{align} v_i(k)=\sup_{\tau_i} j_i. \end{align}$$ $$\begin{align} \rho v_i(k)=\max_{\tau_i} h(g_i)+c_i + v'_i(k)\dot{k}. \end{align}$$ $\tau_2$$\tau^*$

$$\begin{align} \rho v_1(k) &=\max_{\tau_1} h(g_1)+c_1 + v'_1(k)\dot{k}\\ &=\begin{cases}\max_{\tau_1} h(g_1) + w_1+r_1k+\int^1_k{[r_2-a(\theta)]d\theta} + v'_1(k)\dot{k},\quad & k\in[0,1)\\ \max_{\tau_1} h(g_1) + w_1 + r_1 + v'_1(k)\dot{k},& k\in[1,2] \end{cases} \end{align}$$

Focs edilir

$$\begin{align} \tau_1= \begin{cases} (v_1'(k)+k)^{-1},\quad & k\in[0,1)\\ (v_1'(k)+1)^{-1},\quad & k\in[1,2] \end{cases} \end{align}$$

İlk geçiş uygulaması

Benjamin Moll tarafından sağlanan algoritmayı kullandım . Referans için: optimum büyüme modelinde değer fonksiyonu 8441 yinelemede bir araya geldi ve 0.825062 saniye sürdü.

Tekniği ile CB Üretim fonksiyonunu kullandım, yani ( için bir sorunum var) ve log tercihlerini a la . Bir içeren doğrusal bir maliyet işlevi . Zaten 21 dakika süren 200 tekrardan sonra durdum. İlk panelde 1. ve 200. değer fonksiyonunun tahminidir. İkinci panel, değer fonksiyonu (yakınsama eğilimi) arasındaki farkı gösterir. Ve gerçek politika fonksiyonu ist son paneli, diyelim ki, (en dolaştırmayın not bir k f ( k ) = k α < 1 U ( g , c ) = ln g + c bir : θ dönüs ümü altında, ( 1 - θ ) τ 1 ( k ) K = 1 = k $f(k)=k^\alpha$$Ak$$f(k)=k$$\alpha<1$$u(g,c)=\ln g +c$$a:\theta\mapsto (1-\theta)$$\tau_1(k)$$k=1=k^*$). Sezgisel bir bakış açısıyla doğru gibi görünüyor. Diğer bir deyişle, eğer sermaye stoku gerçek anlamda küçükse ve bunun tersi olursa, bir ülke vergi oranını düşürür. İşlemin neden bu kadar zaman alıcı olduğundan emin değilim.

Güncelleştirme

Hızı arttırmayı başardım. Sonra şebekenin menzilini, devletin ilgili uç noktalarına ve ızgara noktalarının sayısına kadar arttırdım ve hafızamı alana kadar VFI'yi (40000 Yineleme) koştum. İlk panel ilk ve son değer işlevini içerir. Algoritmalar . Politika işlevindeki ilginçlik hala devam ediyor, ancak şekil şimdi biraz farklı.$|v^{40000}-v^{39999}|=0.0077$

Sayısız şekilde çözülen sürekli bir zamanda bir gariplik olayları gördüğümü sanmıyorum. Aguiar & Amador (2014) , HJB'lerinde bir sıkıntıya sahiptir, ancak HJB'lerini analitik olarak çözerler.

onaylama

Moll ve arkadaşlarının algoritmasının ne kadar doğru olacağını bilmiyorum. Büyük olasılıkla garip davranışlarda garip davranışlar elde edersiniz, ancak asıl işlevsel formun şüpheli olup olmadığı ve eskiden "tamam görünüyor mu?" Olduğunu iddia etmek zorunda kalacaksınız.

Bükülmenin iyi görünüp görünmediğini daha iyi kavramak istiyorsanız, onu daha aşırı yapın . Denklemlerinize girmeden, ilk kısmın dışbükey, ikinci kısmın ise doğrusal olduğu anlaşılıyor. İlk bölümün eğriliğini arttırın, böylece bükülme çevresinde hala doğru görünüp görünmediğini daha kolay "görebileceksiniz".

Ayrıca, birinci dereceden ve ikinci dereceden türev için sayısal emsallere kesin olarak bakmalı, yaklaşımın birinci dereceden ve ikinci dereceden farkı adım boyutuna bölünerek ölçülmelidir. Dolandırıcılık çevresinde doğru işaretleri var mı?

Vurguladığım bir şey, ilginçlik etrafında birçok ızgara noktaları olması. Bununla birlikte, doğrusal olmayan bir şebekeye sahip olduğunuzda algoritma zorlaştığından (ızgara adım boyutu artık bir sabit değil, bir vektör olduğundan), buna değmeyebilir ve genel ızgara noktalarını kaldırıp doğrusal tutabilirsiniz .

hız

Son olarak, gerçekten A ve B matrisleri için seyrek matrislere sahip olmalısınız. Dakikada 10 tekrarlama gerçekten yavaştır. Anlamanız ve uygulamanız belki de 30 dakikanızı alır (daha önce hiç seyrek sistemler ile çalışmadıysanız), ancak bu sürenin sonunda yaptığınız kodu çalıştırdıktan sonra zaten.

Sorun devam ederse, kodlama diliniz için profillere bakın. Python için bu güzel bir çözüm. Her şey çok seyrek olsa bile, belki de yineleme döngüsünde ihtiyaç duymadığın bir matrisi unuttun. Bu benim için geçerliydi ve büyük ızgara boyutlarında tek bir yeniden başlatma işleminin çok zaman aldı. Profiler size ne olduğunu söyleyecektir.