Değerlendirilmesi maliyetli olan pürüzsüz, sınırlı, dışbükey olmayan bir 2B işlevinin küresel bir minimumunu bulmak

Minimum bulmak istiyorum sınırlı dışbükey olmayan bir 2-D işlevi var. Fonksiyon oldukça pürüzsüz. Bunu değerlendirmek maliyetlidir. Kabul edilebilir bir hata, her eksendeki işlevin etki alanının yaklaşık% 3'üdür.

DIRECT algoritmasının uygulanmasını NLOPT kütüphanesinde çalıştırmayı denedim, ancak gerekli doğruluk için gerekli fonksiyon değerlendirme miktarı açısından kaba kuvvet arama üzerinde önemli bir gelişme sağlamadı ve bazı aykırı değerler vardı.

Başka hangi global optimizasyon çözümleyicilerini dikkate almalıyım?

@Barron dolaylı olarak aynı şeyi tartışmış olsa da, diğer cevaplara kıyasla biraz farklı bir yaklaşım önermek istiyorum.

Bunun yerine bir dizi nokta adresinden değerlendirerek yani doğrudan fonksiyonunu optimize bir (yerel) optimuma (umarım) yakınsama, sen kavramını kullanabileceği puan vekil modelleme olan tarif ettiğiniz tipteki problemler için çok uygundur (yüksek maliyet, pürüzsüz, sınırlı, düşük boyutlu yani 20'den az bilinmeyen).$\mathbf{x}_1,\mathbf{x}_2,\ldots,\mathbf{x}_k$$\textit{surrogate modelling}$

Özellikle, vekil modelleme bir model işlevi kurarak çalışır gerçek fonksiyonunun f ∈ R d → R . Anahtar, c'nin f'yi mükemmel bir şekilde temsil etmemesine rağmen, değerlendirmenin çok daha ucuz olmasıdır.$c \in \mathbb{R}^d \rightarrow \mathbb{R}$$f \in \mathbb{R}^d \rightarrow \mathbb{R}$$c$$f$

Dolayısıyla, tipik bir optimizasyon süreci aşağıdaki gibi olacaktır:

1. Değerlendirmede bir set j başlangıç noktaları x 1 , x 2 , ... , x j . Türevlere gerek olmadığını unutmayın. Ayrıca, bu noktaların Latin Latin Hiperküp Örneklemesi veya benzer bir boşluk doldurma tasarımı gibi arama alanı boyunca eşit olarak dağıtılması gerektiğini unutmayın.$f$$j$$\mathbf{x}_1,\mathbf{x}_2,\ldots,\mathbf{x}_j$
2. Bu orijinal veri kümesini temel alarak bir model işlevi oluşturun . Modelinizi doğrulamak için çapraz doğrulamayı kullanabilirsiniz (yani c oluşturmak için orijinal j noktalarının yalnızca bir alt kümesini kullanın ve sonra c'nin bu değerleri ne kadar iyi tahmin ettiğini kontrol etmek için veri kümesinin geri kalanını kullanın )$c$$j$$c$$c$
3. Öğrenmek için bu Beklenen İyileşme (El) kriter olarak bir kriter kullanım olup, daha fazla örnekleri 'dolum' yapmak için 'için örnekleyerek daha doğru f . Bu aslında teorik olarak göründüğünden çok daha iyi incelenmiştir ve EI kriteri çok iyi araştırılmıştır. EI kriteri de açgözlü bir kriter değildir, bu nedenle her ikisi de modelin doğruluğunu genel olarak iyi bir şekilde iyileştirirken, potansiyel optima'nın yakınında doğruluğa öncelik verirsiniz.$c$$f$
4. Modeliniz yeterince doğru değilse, 3. adımı tekrarlayın, aksi takdirde değerlendirmek için çok ucuz olacak optimumunu bulmak için favori optimizasyon rutininizi kullanın (böylece istediğiniz herhangi bir rutini, hatta türev gerektirenleri bile kullanabilirsiniz işlevi ince bir ağda değerlendirir).$c$

Genel olarak, @barron'un önerdiği gibi, EGO, Efficient Global Optimization (EGO) tarafından kastedilen budur. Uygulamanız için bunun mükemmel bir şekilde uygun olduğunu vurgulamak isterim - nispeten az değerlendirmesine dayanan şaşırtıcı derecede doğru bir model elde edersiniz ve daha sonra istediğiniz herhangi bir optimizasyon algoritmasını kullanabilirsiniz. Sıklıkla ilginç olan şey, şimdi c'yi bir kafes üzerinde değerlendirip çizebileceğiniz ve böylece f'nin genel görünümü hakkında fikir edinebilmenizdir . Bir başka ilginç nokta, çoğu vekil modelleme tekniğinin istatistiksel hata tahminleri sağlaması ve böylece belirsizlik tahminine izin vermesidir.$f$$c$$f$

Nasıl inşa etmek kursu açık bir soru, ama çoğu zaman Kriging veya sözde uzay-haritalama modelleri kullanılmaktadır.$c$

Tabii ki, bunların hepsi biraz kodlama işi, ancak birçok insan çok iyi uygulamalar yaptı. Matlab'da sadece DACE yazılım araç kutusunun ücretsiz olduğunu biliyorum . TOMLAB ayrıca bir Matlab paketi de sunabilir, ancak maliyetlidir - ancak, C ++ ile de çalıştığına ve DACE'nin sahip olacağından çok daha fazla yeteneğe sahip olduğuna inanıyorum. (Not: Yakında piyasaya sürülecek olan ve EGO için ek destek sunacak olan yeni DACE sürümünün geliştiricilerinden biriyim.)

Bu kaba genel bakışın size yardımcı olduğunu umuyoruz, daha net hale getirilebilecek noktalar veya kaçırdığım şeyler varsa veya konuyla ilgili daha fazla materyal istiyorsanız lütfen soru sorun.

Görmek

LM Rios ve NV Sahinidis, Türevsiz optimizasyon: Algoritmaların gözden geçirilmesi ve yazılım uygulamalarının karşılaştırılması

Çözücülerin son zamanlarda çok kullanışlı bir karşılaştırması için.

DOI: 10.1007 / s10898-012-9951-y

Düzgün bir işlev için, Verimli Global Optimizasyon yöntemi DIRECT'ten oldukça iyi performans göstermeli ve çok daha verimli olmalıdır. Uygulamalar mevcuttur TOMLAB ve (kendim kullanmadıysanız) DAKOTA (Ben bazı başarı elde ettik ki).

İşlev düzgün olduğundan, Newton'un yöntemi minimum bulmak için çok etkili bir yöntem olacaktır. İşlev dışbükey olmadığından Newton'un yöntemini yakınlaştırmak için genel hileler uygulamanız gerekir (küreselleşmek için Levenberg-Marquardt modifikasyonu, satır arama veya güven bölgesi). İşlevinizin türevlerini alamıyorsanız ya sonlu farklarla hesaplamayı ya da bir BFGS güncellemesi kullanmayı deneyin. Sorunun birden fazla yerel minimum değerinden şüphelendiğinizde, Newton'un yöntemini rastgele veya çok rastgele seçilmiş olmayan bir noktadan başlatacak ve nerede birleştiklerini göreceksiniz.

Değerlendirmeleriniz pahalı olduğu için, sevaral işlev değerlendirmelerini paralel olarak çalıştırmanızdan yararlanmanız gerekir.

Bu koda bir göz atmanızı tavsiye ederim . Arkasındaki matematik burada açıklanmaktadır .