Konveks olmama optimizasyonda neden bir sorun olmalı?

Genel olarak dışbükey olmayan optimizasyon hakkında bir şeyler okumaya başladığımda çok şaşırdım ve şöyle ifadeler gördüm:

Önemli pratik sorunların çoğu dışbükeydir ve dışbükey olmayan sorunların çoğunu tam olarak makul bir zamanda çözmek zordur (imkansız değilse bile). ( kaynak )

veya

Genelde yerel bir minimum bulmak NP-zordur ve birçok algoritma bir eyer noktasında sıkışabilir. ( kaynak )

Her gün dışbükey olmayan bir optimizasyon yapıyorum - yani moleküler geometrinin gevşemesi. Asla zor, yavaş ve takılmakla yükümlü bir şey olarak görmedim. Bu bağlamda, açıkça çok boyutlu dışbükey olmayan yüzeylere sahibiz (> 1000 serbestlik derecesi). Çoğunlukla birkaç yüz adımda yerel bir minimuma (DOF sayısından daha az) yaklaşan FIRE gibi en dik iniş ve dinamik söndürmeden türetilen birinci dereceden teknikleri kullanıyoruz . Stokastik gürültü ilavesi ile cehennem kadar sağlam olmasını bekliyorum. (Küresel optimizasyon farklı bir hikaye)

Bu optimizasyon yöntemlerinin sıkışmasını veya yavaşça yakınsamasını sağlamak için potansiyel enerji yüzeyinin nasıl görünmesi gerektiğini bir şekilde hayal edemiyorum . Çok patolojik PES (dışbükeyliğe bağlı değil) bu spiraldir , ancak bu büyük bir sorun değildir. Patolojik dışbükey olmayan PES'in açıklayıcı bir örneğini verebilir misiniz?

Bu yüzden yukarıdaki alıntılarla tartışmak istemiyorum. Aksine, burada bir şey eksik olduğumu hissediyorum . Belki de bağlam.

Yanlış anlama, bir optimizasyon sorununun "çözülmesini" sağlayan şeydir, örn. . Matematikçiler için, sorun ancak "çözüldük" şeklinde değerlendirilir:$\arg\min f(x)$

1. Aday çözüm: Karar değişkeni ve karşılık gelen hedef değeri için özel bir seçim$x^\star$ , AND$f(x^\star)$
2. Optimallik kanıtı: seçiminin küresel olarak en uygun olduğunun, yani f ( x ) ≥ f ( $x^\star$ nin her x seçeneği için geçerli.$f(x) \ge f(x^\star)$$x$

Tüm konveks, her iki madde kolayca elde edilir. Degrade inişi , degradeyi ortadan kaldıran bir aday çözüm x ⋆ bulur ∇ f ( x ⋆ ) = 0 . En iyilik kanıtı MATH101 öğretilen basit gerçeğinin bir sonucudur, eğer f isimli dışbükey ve onun gradyan ∇ f yok olur, en x ⋆ , o zaman X ⋆ küresel bir çözümdür.$f$$x^\star$$\nabla f(x^\star)=0$$f$$\nabla f$$x^\star$$x^\star$

Ne zaman konveks olmayan bir bir aday çözüm halen bulmak kolay olabilir, ama Optimalliğin kanıtı son derece zorlaşır. Örneğin, gradyan inişini çalıştırabilir ve ∇ f ( x ⋆ ) = 0 noktasını bulabiliriz . Ancak f dışbükey olmadığında, ∇ f ( x ) = 0 koşulu , yalnızca gradyan bilgisine dayalı olarak yerel bir minimumdur. Bir yaklaşım ∇ f $f$$\nabla f(x^\star)=0$$f$$\nabla f(x)=0$ gereklidir, ancak artık küresel tercih için yeterli değildir. Gerçekten de, yerel iyimserlik için bile yeterli değildir , yani $x^\star$ve bu sadece bir veya iki boyutta bile zorlu bir görev olabilir.$\nabla f(x)=0$

Matematikçiler çoğu problemin çözülmesinin imkansız olduğunu söylediklerinde, (hatta yerel) iyimserlik kanıtının oluşturulmasının . Ancak gerçek dünyada, genellikle sadece "yeterince iyi" bir çözümün hesaplanmasıyla ilgileniriz ve bu, sonsuz sayıda yolla bulunabilir. Son derece dışbükey olmayan birçok sorun için, sezgimiz bize "yeterince iyi" çözümlerin aslında bunu kanıtlayamasak bile, küresel olarak optimal olduğunu söyler!

Zor bir düşük boyutlu soruna örnek olarak şunlar verilebilir:

Yerel bir minimaya çarptığınız düşünüldüğünde, küresel minima kadar iyi bir şey olduğundan nasıl emin olabilirsiniz? Küresel olarak optimal olduğu düşünüldüğünde sonucunuzun benzersiz bir optimum çözüm olup olmadığını nasıl anlarsınız? Tüm tepelere ve vadilere karşı sağlam bir algoritmayı nasıl oluşturabilirsiniz, böylece bir yere yapışmaz?

Bunun gibi bir örnek, işlerin zorlanabileceği bir örnektir. Açıkçası, tüm problemler böyle değil, bazıları da öyle. Daha da kötüsü, endüstrideki bir ortamda maliyet fonksiyonu hesaplamak için zaman alıcı olabilir ve yukarıdaki gibi sorunlu bir yüzeye sahip olabilir.

Gerçek Sorun Örneği

İş yerinde ele alabileceğim bir örnek, birçok fırlatma koşulunda sağlam olabilecek bir füze yönlendirme algoritması için bir optimizasyon yapmaktır. Kümemizi kullanarak, tek bir koşul için yaklaşık 10 dakika içinde ihtiyacım olan performans ölçümlerini alabilirim. Şimdi sağlamlığı yeterince değerlendirmek için, en azından yargılamak için bir koşul örneği isteyeceğiz. Diyelim ki altı koşul yürütüyoruz, bu maliyet fonksiyonunun değerlendirilmesini bir saat sürüyor.

Doğrusal olmayan füze dinamikleri, atmosferik dinamikler, ayrık zaman süreçleri, vb. Bu maliyet fonksiyonunun dışbükey olması, büyük bir konuyu değerlendirmenin zaman alıcı olmasını sağlar. Bunun gibi bir örnek, bize verilen sürede elimizden gelenin en iyisini elde etmek için çaba göstereceğimiz yer.

Sorun, bağladığınız gönderide tartışılan eyer noktalarının sorunudur. Bağlantılı makalelerden birinin özetinden :

Bununla birlikte, genel olarak, bu tür algoritmaların, yüksek boyutlardaki karmaşık eyer noktası yapılarının varlığı nedeniyle, yerel bir minimuma bile yaklaştığını garanti etmek zordur. Birçok fonksiyon, dejenere eyer noktalarına sahiptir, böylece birinci ve ikinci dereceden türevler onları yerel optima ile ayırt edemez . Bu makalede, bu eyer noktalarından kaçmak için daha yüksek mertebeden türevler kullanıyoruz: üçüncü mertebe lokal bir optimuma dönüşmesi garanti edilen ilk etkin algoritmayı tasarlıyoruz (mevcut teknikler en fazla ikinci mertebe iken). Ayrıca, dördüncü dereceden yerel optima'yı bulmak için bunu daha da genişletmenin NP zor olduğunu gösteriyoruz.

Esasen, 1., 2. ve 3. türevlere bakarken yerel miniminden ayırt edilemeyen eyer noktalarına sahip olduğunuz işlevlere sahip olabilirsiniz. Daha yüksek bir sipariş optimizasyonuna giderek bunu çözebilirsiniz, ancak 4. dereceden yerel minimum finidng'in NP zor olduğunu gösterirler.

$x^2y+y^2$

Bu gibi noktalardan kaçmak için birçok buluşsal yöntem kullanabilirsiniz, bu da birçok (en?) Gerçek dünya örneği için işe yarayabilir , ancak her zaman işe yaradığı kanıtlanamaz .
Bağladığınız blog yazısında , aynı zamanda polinom zamanında bu eyer noktalarından kaçabileceğiniz koşulları da tartışıyorlar.