BFGS'nin ilk Hessian yaklaşımlarına duyarlılığı

Bir fonksiyonun minimumunu bulmak için Broyden-Fletcher-Goldfarb-Shanno yöntemini uygulamaya çalışıyorum. İki başlangıç ​​tahminine ihtiyacım var$x_{-1}$ & $x_0$ ve ilk Hessian Matrix yaklaşımı $B_0$. Aradığım tek gereksinim$B_0$ eğer Hessian simetrik pozitif tanımlıysa, $B_0$. Vikipedi'ye baktığımda, tipik bir başlangıç ​​yaklaşımının$B_0=I$(kimlik matrisi). Bu her zaman iyi bir başlangıç ​​mı?$B_0$? Başka bir şey seçmek isteyebilmemin bir nedeni var mı?$I$? Aynı matris özelliklerini sağlayan diğer B seçenekleri, yöntemin yakınsamasını büyük ölçüde etkiler mi?

Haklı bir Hessian yaklaşımınız varsa, keyfi olarak kullanmaktan daha iyidir. $B_0=I$.

Düzenleme: Gerekçe, eğer çözüme yakın başlarsanız $x^*$, ilk yakınsama oranı ( $r>0$) $r+1$- bir ile doğrusal adım $r+1$- adım yakınsama faktörü $q=\|B_0^{-1}f''(x^*)-G\|$Bu ise, bazı sıra için düzeltme kimlik matrisinin. Bu yüzden bunu küçük yapmaya çalışmak çok değerlidir. (Bu, sistemin ön koşullandırılmasına eşdeğerdir.) Yakınsama faktörü zamanla gelişir ve sonuçta sıfıra (süper doğrusal yakınsama) yaklaşır, ancak birçok gerçek problemde (özellikle yüksek boyutlu olanlar), süper doğrusal rejime ulaşmak için asla yeterli yineleme yapılmaz. Bu nedenle başlangıç ​​hızı oldukça önemlidir.$<1$$r$$G$

Önemli bir durum, Gauss-Newton yaklaşımının olabileceği doğrusal olmayan en küçük kareler sorunlarını çözerken (en aza ) . ikinci türevlere ihtiyaç duymadan hesaplanır. BFGS yönteminin kullanılması, genellikle çok faydalı olan Newton'un yöntemi gibi lineer dönüşümleri altında değişmez, yani değişmez olmasını sağlar .$\|F(x)\|_2^2$$B_0=F'(x_0)^TF'(x_0)$$x$

Bir başka önemli durum, ilgili sorunların bir dizisini çözmenizdir. Genellikle, çözücünün önceki Hessian'ın önceki problemin son yaklaşımı ile yeniden başlatılması, gerekli yineleme sayısını önemli ölçüde azaltır.