BFGS güncellemesi için sezgisel motivasyon

Sayısal bir analiz anketi dersi veriyorum ve optimizasyonda sınırlı geçmişi / sezgisi olan öğrenciler için BFGS yöntemi için motivasyon arıyorum!

$\|J_k-J_{k-1}\|^2_{\textrm{Fro}}$ $J_k(\vec x_k-\vec x_{k-1})=f(\vec x_k)-f(\vec x_{k-1})$

BFGS güncellemelerinin türevleri çok daha karmaşık ve bulanık görünüyor! Özellikle, varsaymak değil istiyorum önsel güncelleme rütbe-2 olmak veya belirli bir formu geçmesi gerektiğini söyledi. Broyden için olduğu gibi BFGS Hessian güncellemesi için kısa bir varyasyon görünümlü motivasyon var mı?

optimization iterative-method nonlinear-programming

— Justin Solomon
kaynak

İsteğe bağlı bir güncellemeye izin verirseniz, tam Hessian'ı Newton yönteminde kullanabilirsiniz. Düşük seviyeli bir güncellemenin önemli bir hesaplama avantajı, yaklaşık Hessian'ın çarpanlarına ayırmasını çok hızlı bir şekilde güncellemenize izin vermesidir.

— Brian Borchers

BFGS'nin türetilmesi, (kesinlikle) dışbükey maliyet fonksiyonlarını düşündüğünde daha sezgiseldir:

Yaklaşık bir çözüm olduğunu . Daha sonra, minimum değeri kesilmiş Taylor genişlemesinin minimum yaklaşır.

f (x) \to min_{x \in {R,}^{n}} .

$f(x) \to \min_{x\in \mathbb R^n}.$

x_{k}

$x_k$

f

$f$

Yani için bir görünüm olduğu

öyle ki

az ve setleri

- "nin

göre"eğrisini hesaplamak vesıfıra ayarlamak

ilişkisini verir

f (x_{k} + p) \approx f (x_{k}) + \nabla f (x_{k})^{T} p + \frac{1}{2} p^{T}'H (x_{k}) p . (*)

$f(x_k+p) \approx f(x_k) +\nabla f(x_k)^Tp + \frac{1}{2}p^T H(x_k)p. \quad(*)$

p

$p$

(*)

$(*)$

x_{k + 1} := x_{k} + p

$x_{k+1} := x_k + p$

(*)

$(*)$

p

$p$

buradaki

, 'gradyanın Jacobianı' veya Hessian matrisidir.

'H (x_{k}) [x_{k + 1} - x_{k}] = \nabla f (x_{k + 1}) - \nabla f (x_{k}),

$H(x_k)[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k),$

H

$H$

Hessian'ın hesaplanması ve ters çevrilmesi pahalı olduğu için ...

... kısa bir cevap

(Broyden en güncelleme karşılaştırınız) olabileceğini BFGS güncelleme minimize bir akıllıca ağırlıklı seçilenin Frobemino normunda, konu $H_{k+1}^{-1}$

‖ {'H}_{k}^{- 1} - {'H}^{- 1} ‖_{W}

$\|H_k^{-1} - H^{-1}\|_W$

$H[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k)$
$H^T = H$

$W$ $\|H\|_W := \|W^{1/2}HW^{1/2}\|_F$ $G:=\int_0^1 H(x_k + \tau p) d\tau$ $\alpha_k = 1$

Önemli noktalar:

İkinci dereceden bir yaklaşım için çözüm tarafından fiili maliyetlerin çözümüne yaklaşmaya çalışır
Hessian'ın hesaplanması ve tersi pahalıdır. Biri basit güncellemeleri tercih eder.
Güncelleme gerçek Hessian yerine tersi için en uygun seçilmiştir .
Bunun bir rank-2 güncellemesi olması, Frobenius normundaki ağırlıkların belirli seçiminin bir sonucudur.

$p$

— Ocak
kaynak

W

$W$

W

$W$

Evet doğru. Bilmiyorum. Bir cevap, hesaplaması kolay ve iyi çalışan güncelleme formülü vermesidir. Tarihsel olarak, bu güncelleme yaklaşımı - güncelleme farkını en aza indirgemek - Shanno'nun yaklaşımıydı. Ağırlıkların belirli bir seçiminin Broyden ve Fletcher'ın formülüne yol açtığını tespit eden bir hakemdi (Goldfarb). Doktora tezine bakın BFGS geliştiricilerinin sezgileri için BFGS sekant yönteminin tarihsel gelişimi . Bununla birlikte, 3 yaklaşımın hepsi oldukça soyuttur.

— Ocak

İlginç, rehberlik için teşekkürler! Benim mevcut yazma (yardıma ihtiyacı olan bazı matematik hataları ile) burada: graphics.stanford.edu/courses/cs205a-13-fall/assets/notes/… (yardımınız için kredi istiyorsanız bunu sağlamaktan mutluluk duyuyorum - lütfen uygun iletişim bilgileriyle bana e-posta gönderin)

— Justin Solomon

'H (x_{k}) [x_{k + 1} - x_{k}] = \nabla f (x_{k + 1}) - \nabla f (x_{k})

$H(x_k)[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k)$

'H (x_{k + 1}) [x_{k + 1} - x_{k}] = \nabla f (x_{k + 1}) - \nabla f (x_{k}) ?

$H(x_{k+1})[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k)?$

H_{k + 1} s_{k} = y_{k}

$H_{k+1}s_k =y_k$

s_{k} = x_{k + 1} - x_{k}, y_{k} = \nabla f_{k + 1} - \nabla f_{k}

$s_k=x_{k+1}-x_k, y_k=\nabla f_{k+1}-\nabla f_k$