Gradyan iniş dışbükey olmayan fonksiyonlara uygulanabilir mi?

Sadece optimizasyonu öğreniyorum ve dışbükey ve dışbükey olmayan optimizasyon arasındaki farkı anlamakta zorlanıyorum. Anladığım kadarıyla, dışbükey bir işlev, "işlevin grafiğindeki herhangi iki nokta arasındaki çizgi parçasının üstünde veya grafiğin üzerinde yer aldığı" bir işlevdir. Bu durumda, bir degrade iniş algoritması kullanılabilir, çünkü tek bir minimum vardır ve degradeler sizi her zaman bu minimum değere götürür.

Ancak, bu şekildeki işlev ne olacak:

Burada mavi çizgi segmenti kırmızı fonksiyonun altından geçer. Bununla birlikte, fonksiyonun hala tek bir minimum değeri vardır ve bu nedenle degrade inişi sizi bu minimum seviyeye götürür.

Yani sorularım:

1) Bu şekildeki fonksiyon dışbükey mi, dışbükey mi?

2) Dışbükey değilse, dışbükey optimizasyon yöntemleri (degrade iniş) hala uygulanabilir mi?

Çizdiğiniz fonksiyon aslında dışbükey değildir. Bununla birlikte, yarı konveks .

$x_1, x_2, \ldots$$f(x_1) > f(x_2) > \ldots$

Degrade iniş, dışbükeyliğe bakılmaksızın, sonunda işlevin sabit bir noktasına yaklaşacaktır. İşlev dışbükeyse, bu küresel bir minimum olacaktır, ancak değilse yerel bir minimum veya bir eyer noktası olabilir.

$f(x) = x^3$

Paul zaten önemli bir noktadan bahsetti:

• f dışbükey ise, eyer noktaları yoktur ve tüm yerel minimler de küreseldir. Böylece GD'nin (uygun bir kademeli) küresel bir küçültücü bulması garanti edilir.

Dışbükey olmayan optimizasyonu zorlaştıran şey, eğimin (0, ..., 0) olduğu ve keyfi olarak kötü bir objektif değere sahip olduğu eyer noktalarının ve yerel minimanın varlığıdır.

Küresel madencilik makinesini böyle bir ortamda bulmak genellikle NP zordur ve bunun yerine yerel bir minimizer bulma hedefine yerleşir.

Ancak şunu unutmayın:

• GD'nin bir eyerde takılma olasılığı aslında 0 ( buraya bakınız ).
• Bununla birlikte, eyer noktalarının varlığı GD'lerin ilerlemesini ciddi şekilde yavaşlatabilir, çünkü düşük eğrilik yönleri çok yavaş kullanılır ( buraya bakın )

Sorununuzun boyutluluğuna bağlı olarak, bu nedenle ikinci dereceden bir optimizasyon rutini seçmeniz tavsiye edilebilir.