Pde kısıtlı optimizasyon için bitişik yöntemin maliyetini anlama

Eşlenik tabanlı optimizasyon yönteminin bir PDE kısıtlı optimizasyon için nasıl çalıştığını anlamaya çalışıyorum. Özellikle, bitişik yöntemin tasarım değişkenlerinin sayısının büyük olduğu, ancak "denklemlerin sayısının az olduğu" problemler için neden daha verimli olduğunu anlamaya çalışıyorum.

Anladığım şey:

Aşağıdaki PDE kısıtlı optimizasyon sorununu göz önünde bulundurun:

min_{β} I (β, u (β)) s . t . R (u (β)) = 0

$\min_\beta \text{ } I(\beta,u(\beta))\\ s.t. R(u(\beta))=0$

burada , bir vektör tasarımı değişkenlerin bir (yeterince sürekli) amaç fonksiyonu ve saha değişken bilinmeyen bir vektör tasarım değişkenlerine bağlıdır ve PDE kalıntı şeklidir. $I$ $\beta$ $u(\beta)$ $R(u)$

Açıkçası, I ve R'nin ilk varyasyonlarını şu şekilde yapabiliriz:

δ I = \frac{\partial I}{\partial β} δ β + \frac{\partial I}{\partial u} δ u

$\delta I = \frac{\partial I}{\partial \beta}\delta\beta + \frac{\partial I}{\partial u}\delta u$

δ R = \frac{\partial R}{\partial β} δ β + \frac{\partial R}{\partial u} δ u = 0

$\delta R = \frac{\partial R}{\partial \beta}\delta\beta + \frac{\partial R}{\partial u}\delta u = 0$

Bir lagrange çarpanları vektörü tanıtıldığında , nesnel işlevdeki varyasyon şöyle yazılabilir $\lambda$

δ I = \frac{\partial I}{\partial β} δ β + \frac{\partial I}{\partial u} δ u + λ^{T} [\frac{\partial R}{\partial β} δ β + \frac{\partial R}{\partial u} δ u]

$\delta I = \frac{\partial I}{\partial \beta}\delta\beta + \frac{\partial I}{\partial u}\delta u + \lambda^T\left[ \frac{\partial R}{\partial \beta}\delta\beta + \frac{\partial R}{\partial u}\delta u\right]$

Şartları yeniden düzenleyerek şunları yazabiliriz:

δ I = [\frac{\partial I}{\partial β} + λ^{T} \frac{\partial R}{\partial β}] δ β + [\frac{\partial I}{\partial u} + λ^{T} \frac{\partial R}{\partial u}] δ u

$\delta I = \left[\frac{\partial I}{\partial \beta} + \lambda^T\frac{\partial R}{\partial \beta}\right]\delta\beta + \left[\frac{\partial I}{\partial u} + \lambda^T\frac{\partial R}{\partial u}\right]\delta u$

Biz çözmek mümkün olup olmadığını Böylece bu şekilde $\lambda$

\frac{\partial I}{\partial u} + λ^{T} \frac{\partial R}{\partial u} = 0 (adjoint equation)

$\frac{\partial I}{\partial u} + \lambda^T\frac{\partial R}{\partial u}=0 \text{ (adjoint equation)}$

Ardından değerlendirilir sadece tasarım değişkenleri açısından . $\delta I= \left[\frac{\partial I}{\partial \beta} + \lambda^T\frac{\partial R}{\partial \beta}\right]\delta \beta$ $\beta$

Böylece, bir bitişik tabanlı optimizasyon algoritması aşağıdaki adımlar üzerinde dönecektir:

Mevcut tasarım değişkenleri verildi $\beta$
Alan değişkenleri (PDE'den) için çözme $u$
Lagrange çarpanları (bitişik denklemden) için çözün $\lambda$
Degradeleri hesapla $\frac{\partial I}{\partial \beta}$
Tasarım değişkenlerini güncelleme $\beta$

Benim sorum

Bu bitişik 'hile' tasarım değişkenlerinin sayısının fazla olması durumunda yineleme başına optimizasyon maliyetini nasıl artırır? Bitişik yöntem için gradyan değerlendirme maliyetinin tasarım değişkenlerinin sayısından 'bağımsız' olduğunu duydum. Fakat bu tam olarak nasıl doğrudur?

Eminim bir şekilde göz ardı ettiğim çok açık bir şey var.

optimization pde

— Paul
kaynak

Bu arada, Lagrange çarpanı genellikle varyasyona değil, objektif işlevselliğe eklenir; böylece . Kapsamında türev ayarlama sıfır verim eşlenik denklem ve bu ekleyerek (ve çözelti durum denklemi ) göre türev halinde gradyanı elde edilir. PDE'nin zayıf formülasyonu ile başlarsanız, işler daha da basitleşir: Sadece Lagrange çarpanını test fonksiyonu yerine yerleştirin. Hiçbir yerde güçlü forma veya kısmi entegrasyona gerek yoktur.

min_{u, β} max_{λ} I (u, β) + λ^{T} R (u, β)

$\min_{u,\beta}\max_\lambda I(u,\beta) + \lambda^T R(u,\beta)$

u

$u$

u

$u$

R (u, β) = 0

$R(u,\beta)=0$

β

$\beta$

— Christian Clason

Herhangi bir simülasyonun en pahalı kısmı çözme aşamasıdır. Bitişik kullanarak, gradyanı en az n + 1 çözüme ihtiyacınız olan sonlu farklılıklara kıyasla çok daha ucuz olan iki çözüme sahip olursunuz, n modelinizdeki serbest parametrelerin sayısıdır.

— stali

Yanıtlar:

Bu bitişik 'hile' tasarım değişkenlerinin sayısının fazla olması durumunda yineleme başına optimizasyon maliyetini nasıl artırır?

Maliyeti doğrusal bir cebir perspektifinden düşünüyorum. ( Lagrange çarpanı yaklaşımından daha sezgisel bulduğum Stephen G. Johnson'ın bu notlarına bakın ). İleriye dönük yaklaşım, duyarlılıkların doğrudan çözülmesini gerektirir:

\begin{aligned} \frac{\partial u}{\partial β} = - {(\frac{\partial R}{\partial u})}^{- 1} \frac{\partial R}{\partial β} \end{aligned}

$\begin{align} \frac{\partial{u}}{\partial{\beta}} = -\left(\frac{\partial{R}}{\partial{u}}\right)^{-1}\frac{\partial{R}}{\partial{\beta}} \end{align}$

bu, vektöründeki her parametre için doğrusal bir sistemin çözülmesini ve ardından $\beta$

\begin{aligned} \frac{d I}{d β} = \frac{\partial I}{\partial β} + \frac{\partial I}{\partial u} \frac{\partial u}{\partial β}, \end{aligned}

$\begin{align} \frac{\mathrm{d}I}{\mathrm{d}\beta} = \frac{\partial{I}}{\partial{\beta}} + \frac{\partial{I}}{\partial{u}}\frac{\partial{u}}{\partial{\beta}}, \end{align}$

burada toplam bir türevi ve kısmi bir türevi belirtir. $\mathrm{d}$ $\partial$

Bitişik yaklaşım,

\begin{aligned} \frac{d I}{d β} = \frac{\partial I}{\partial β} - \frac{\partial I}{\partial u} {(\frac{\partial R}{\partial u})}^{- 1} \frac{\partial R}{\partial β}, \end{aligned}

$\begin{align} \frac{\mathrm{d}I}{\mathrm{d}\beta} = \frac{\partial{I}}{\partial{\beta}} - \frac{\partial{I}}{\partial{u}}\left(\frac{\partial{R}}{\partial{u}}\right)^{-1}\frac{\partial{R}}{\partial{\beta}}, \end{align}$

eş değişken böylece (Lagrange çarpanı) ile tanımlanabilir $\lambda$

\begin{aligned} - \frac{\partial I}{\partial u} {(\frac{\partial R}{\partial u})}^{- 1} = λ^{T}, \end{aligned}

$\begin{align} -\frac{\partial{I}}{\partial{u}}\left(\frac{\partial{R}}{\partial{u}}\right)^{-1} = \lambda^{T}, \end{align}$

bitişik denkleme karşılık gelen

\begin{aligned} \frac{\partial I}{\partial u} + λ^{T} \frac{\partial R}{\partial u} = 0. \end{aligned}

$\begin{align} \frac{\partial{I}}{\partial{u}} + \lambda^{T}\frac{\partial{R}}{\partial{u}} = 0. \end{align}$

Bu terimlerin yeniden gruplandırılması, her parametre için doğrusal bir çözüm yerine yalnızca bir doğrusal çözüm gerektirir, bu da bitişik değerlendirmeyi birçok parametre durumu için ucuz hale getirir.

Bitişik yöntem için gradyan değerlendirme maliyetinin tasarım değişkenlerinin sayısından 'bağımsız' olduğunu duydum. Fakat bu tam olarak nasıl doğrudur?

Tamamen bağımsız değil; tahminen ve değerlendirme maliyeti parametre sayısı ile artacaktır. Bununla birlikte, doğrusal çözümler, boyutu değişmediği sürece yine de aynı boyutta olacaktır . Varsayım, çözücülerin işlev değerlendirmelerinden çok daha pahalı olduğu yönündedir. $(\partial{I}/\partial{\beta})$ $(\partial{R}/\partial{\beta})$ $u$

— Geoff Oxberry
kaynak

Özetle, avantajı hesaplamak azaltılmış objektif türevlerine olmasından kaynaklanır , gerçekten türev bilmek gerekmez göre ayrı bir nesne olarak, ancak yalnızca varyasyonlarına yol açan kısmı . $I(\beta,u(\beta))$ $u(\beta)$ $\beta$ $I(\beta,u(\beta))$

: Bana biraz daha rahat birlikte olduğum bir gösterim geçiş Let ( olmak tasarım değişkeni, durum değişkeni ve ise amaçtır). Let mesela böylece kapalı fonksiyon teoremini uygulamak yeterince iyi olduğu denklemi olan bir tek çözüm ile ilgili olarak sürekli olarak ayırt edilebilirdir ve türev çözeltisi ile verilmektedir ( ve kısmi türevleri olmak üzere) .

min_{y, u} J (y, u) subject to e (y, u) = 0

$\min_{y,u} J(y,u) \quad\text{subject to}\quad e(y,u)=0$

u

$u$

y

$y$

J

$J$

e (y, u)

$e(y,u)$

e (y, u) = 0

$e(y,u)=0$

y (u)

$y(u)$

u

$u$

y^{'} (u)

$y'(u)$

\begin{matrix} (1) & e_{y} (y (u), u) y^{'} (u) + e_{u} (y (u), u) = 0 \end{matrix}

$e_y(y(u),u)y'(u) + e_u(y(u),u) = 0\tag{1}$

e_{y}

$e_y$

e_{u}

$e_u$

Bu , farklılaştırılabilen ( ise) indirgenmiş tanımlayabileceğiniz anlamına gelir . Gradyan yu karakterize etmenin bir yolu, yönlü türevler (örneğin, tüm kısmi türevleri tasarım alanının temeline göre hesaplamak). Burada, yönündeki yönlü türev , zincir kuralı tarafından Eğer güzel bir bilgi işlem için sadece zor bir şey olan verilen için . Bu, ile çarpılarak yapılabilir $j(u):=J(y(u),u)$ $J(y,u)$ $\nabla j(u)$ $h$

\begin{matrix} (2) & j^{'} (u; h) = ⟨ J_{y} (y (u), u), y^{'} (u) h ⟩ + ⟨ J_{u} (y (u), u), h ⟩ . \end{matrix}

$j'(u;h) = \langle J_y(y(u),u),y'(u)h \rangle + \langle J_u(y(u),u),h\rangle.\tag{2}$

J

$J$

y^{'} (u) h

$y'(u)h$

h

$h$

(1)

$(1)$

h

$h$ sağdan ve (örtük fonksiyon teoreminin izin verdiği) için çözme , yani, ve bu ifadeyi takarak . PDE kısıtlı optimizasyonda, bu , tasarım alanının her temel vektörü için doğrusallaştırılmış bir PDE'nin çözülmesine karşılık gelir .

y^{'} (u) h

$y'(u)h$

\begin{matrix} (3) & [y^{'} (u) h] = e_{y} (y (u), u)^{- 1} [e_{u} (y (u), u) h] \end{matrix}

$[y'(u)h] = e_y(y(u),u)^{-1} [e_u(y(u),u)h]\tag{3}$

(2)

$(2)$

h

$h$

Biz, bir operatörün bulmak Ancak, böyle bu arzu edilen gradyanı olmalıdır. Bakıldığında , yazabiliriz ( adjoint operatörü olarak), bu nedenle hesaplamamız gereken tek şey . Bunu kullanarak, , yani ve PDE kısıtlı optimizasyonda $\nabla j$

j^{'} (u; h) = ⟨ \nabla j, h ⟩ for all h,

$j'(u;h) = \langle \nabla j,h\rangle\qquad \text{for all }h,$

(1)

$(1)$

⟨ J_{y} (y (u), u), y^{'} (u) h ⟩ = ⟨ y^{'} (u)^{*} J_{y} (y (u), u), h ⟩

$\langle J_y(y(u),u),y'(u)h \rangle = \langle y'(u)^*J_y(y(u),u),h \rangle$

y^{'} (u)^{*}

$y'(u)^*$

y^{'} (u)^{*} j_{y} (y (u), u)

$y'(u)^*j_y(y(u),u)$

(A B)^{*} = B^{*} A^{*}

$(AB)^* = B^* A^*$

(3)

$(3)$

λ := e_{y} (y (u), u)^{- *} J_{y} (y (u), u)

$\lambda:= e_y(y(u),u)^{-*}J_y(y(u),u)$

\nabla j (u) = e_{u} (y (u), u)^{*} λ + J_{u} (y (u), u) .

$\nabla j(u) = e_u(y(u),u)^*\lambda +J_u(y(u),u).$

J_{y} (y (u), u)

$J_y(y(u),u)$ genellikle bir tür artıktır ve computing , tasarım alanının boyutundan bağımsız olarak tek bir (doğrusal) bitişik PDE'nin çözülmesini içerir . (Aslında, bu dağıtılmış parametreler için bile çalışır, yani , ilk yaklaşımın mümkün olmadığı bazı sonsuz boyutlu Banach uzayında bir işlevse.)

λ

$\lambda$

u

$u$

— Hıristiyan Sınıfı
kaynak