BFGS - Eşlenik Gradyan Yöntemi

Optimizasyon için BFGS ve eşlenik gradyan arasında seçim yaparken nelere dikkat etmeliyim? Bu değişkenlere uymaya çalıştığım fonksiyon üstel fonksiyonlardır; Ancak, asıl amaç işlevi diğer şeylerin yanı sıra bütünleşmeyi içerir ve eğer yardımı olursa çok maliyetlidir.

JM depolama konusunda haklıdır. BFGS, yaklaşık bir Hessian gerektirir, ancak kimlik matrisi ile başlatabilir ve daha sonra, sadece dereceli güncellemelerden ziyade gradyan bilgisine sahip olduğunuz sürece, sadece yaklaşık Hessian için ikinci derece güncellemeleri hesaplayabilirsiniz. BFGS, yarı-Newton bir yöntemdir ve CG'den daha az adımda bir araya gelecektir ve "sıkışıp kalma" eğilimine biraz daha az eğilimlidir ve her yineleme için önemli bir iniş elde etmek için hafif algoritmik tweaks gerektirir.

Bunun aksine, CG, yön türevlerini (tekrar, analitik ya da sonlu farkları kullanarak) hesaplayabiliyorsanız, sizin için yararlı olabilecek matris-vektör ürünlerini gerektirir. Bir yönlü türevin sonlu bir fark hesaplaması, bir Hessian'ın sonlu bir fark hesaplamasından çok daha ucuz olacaktır, bu nedenle algoritmanızı sonlu farklar kullanarak oluşturmayı seçerseniz, sadece doğrudan yönlü türevi hesaplayın. Ancak bu gözlem, gradyan bilgisinin iç ürünlerini kullanarak yaklaşık Hessianları hesaplayacak olan BFGS için geçerli değildir.

Yakınsama oranları açısından, eğer probleminizdeki karar değişkenlerinin sayısı ise, CG iterasyonları yaklaşık olarak Newton metodunun bir adımına eşittir. BFGS bir yarı Newton yöntemidir, ancak aynı tür gözlem yapmalıdır; Çok fazla inişin olduğu birkaç CG yönü olmadıkça BFGS ile daha az yinelemede yakınsama elde edersiniz ve ardından birkaç CG yinelemesinden sonra yeniden başlatırsınız. CG-benzeri yöntemler, eğer matris-vektör ürünleri ucuzsa ve probleminiz o kadar büyükse, Hessian'ı depolamak zor veya imkansızsa daha ucuzdur. BFGS, yaklaşık Hessian'ını güncellemek için daha fazla vektör-vektör ürünü içerir, bu nedenle her BFGS yinelemesi daha pahalı olacaktır, ancak bunların yerel bir asgariye ulaşması için daha azını gerektirir.$n$$n$

Depolamanın bir sorun olmayacağını biliyorsanız, uygulamanız için küçük bir test problemindeki iki algoritmayı karşılaştırırım. Probleminizin özel özelliklerini bilmeden, benim tahminimce BFGS'nin daha hızlı olacağı, ancak hangisinin daha iyi çalışacağına dair daha iyi bir fikir edinmek için iki algoritmayı gerçekten test etmeniz gerekir.

Son olarak, otomatik farklılaşma hakkında bir kelime: Fortran ( DAEPACK ) için bir kurum içi otomatik farklılaşma (AD) tesisi ile ilgili biraz tecrübe sahibi olduğumda, size AD araçlarının genellikle titiz olduğunu söyleyebilirim. Kendileri oluşturdukları kodu ayırt etmek zorunda olmayabilirler. İki tür AD aracı vardır:

• kaynaktan kaynaktan AD araçları
• operatör AD araçları aşırı yükleme

Kaynaktan kaynaktan araçlar, yazdığınız kaynak kodunu alan, ayrıştıran ve otomatik olarak kaynak kodunuzdaki işlevlerin derecesini hesaplayan yeni kaynak kodunu üreten, derlenmiş komutlardır. Operatör aşırı yükleme AD araçları, kaynak kodunuzda aşırı yüklenmiş AD operatörlerini kullanmanızı gerektirir; böylelikle türevlerin hesaplanabilmesi için, AD ile analitik türevleri hesaplamak için ek bir çaba göstermeniz gerekir.

Tam depolama BFGS yerine sınırlı bellek varyasyonlarını kullanırsanız, BFGS'nin ilgili maliyeti CG ile daha da artabilir . Bu, son güncellemeleri için BFGS güncellemesini , son çözümlerinden ve gradyanlarından daha fazlasını depolamaya gerek kalmadan bir dizi birinci sınıf güncelleme ile verimli bir şekilde hesaplar .$m$$m$

Tecrübelerime göre, birçok güncellemeye sahip BFGS, mevcut çözümden çok uzakta bilgi depolamakta olan ve çok fazla saklama yapmazsanız yakınsaklığı kaybedebilirsiniz. Sadece bu nedenlerden dolayı, doğrusal olmayan konjuge gradyanlara çok benzeyen BFGS'nin "hafızasız" varyantları vardır ( bunlardan biri için açıklanan son güncellemeye bakınız). Bu nedenle, BFGS yerine L-BFGS yapmaya istekliyseniz, hafıza sorunları ortadan kalkar ve yöntemler birbiriyle ilişkilidir . Anekdot kanıtları, bazen gereksiz ve bazen çok gerekli olduğu için zor bir mesele olarak yeniden başlatıldığına işaret eder .

İkisi arasındaki seçiminiz de büyük ölçüde ilgilendiğiniz sorunlara bağlıdır. Kaynaklarınız varsa, hem sorunlarınız için deneyebilir hem de hangisinin daha iyi sonuç vereceğine karar verebilirsiniz. Örneğin, kişisel olarak bu algoritmalarla optimizasyon yapmıyorum, bunun yerine doğrusal olmayan denklem sistemlerinin çözümünü önemsiyorum. Bunlar için NCG'nin daha iyi çalıştığını ve doğrusal olmayan önkoşulları yerine getirmenin daha kolay olduğunu buldum. BFGS daha sağlamdır.

Açıkçası, bu tür şeyler için en sevdiğim yöntem N-GMRES . Geçen üzerinde küçük minimizasyonu problemi çözerek paranın karşılığını en iyi veren benim durumumda olarak degrade değerlendirme, çok pahalı, bu özellikle doğrudur yeni, düşük-kalıntı çözümü oluşturmak için dolaşır.$m$

Düşük boyutlarda, iyi uygulanmış bir BFGS metodu genel olarak CG'den daha hızlı ve daha güçlüdür, özellikle de fonksiyon ikinci dereceden çok uzak değilse.

Ne BFGS ne de CG, konveksite hakkında herhangi bir varsayıma ihtiyaç duymaz; sadece ilk Hessian yaklaşımı (BFGS için) karşılık gelir. önkoşullayıcı (CG için) kesin olarak kesin olmalıdır. Fakat bunlar her zaman kimlik matrisi olarak seçilebilir, düşük boyutlarda çok fazla zarar vermeden. Ayrıca bakınız /scicomp//a/3213/1117

Programlanmış bir gradyanın yokluğunda, özellikle fonksiyon değerleri pahalı olduğunda, sayısal gradyanları kullanmak büyük bir çaba kaybıdır. Aksine, türevsel olmayan bir algoritma kullanılmalıdır. Son bir anket için http://archimedes.cheme.cmu.edu/?q=dfocomp adresine bakın .