Çok boyutlu uzayda bir fonksiyonun mutlak minimum (maksimum) değerini araştırmak için eğim alçalma tabanlı bir teknik var mı?

11

Belirli bir işlevin yerel minimum (maksimum) bulabilen gradyan iniş algoritmasına aşinayım.

Fonksiyonun birkaç yerel ekstremaya sahip olduğu mutlak minimum (maksimum) bulmaya izin veren gradyan inişinde herhangi bir değişiklik var mı?

Mutlak aşırılık bulmak için lokal ekstremumu bulabilecek bir algoritma nasıl geliştirilir?

ds.algorithms approximation-algorithms machine-learning

— Roma
kaynak

Sen kontrol etmek isteyebilir Çapraz Doğrulanmış veya bağlanan AI Q & A SSS .

— Kaveh

Bence bu gradyan inişinin dezavantajlarından biri - yerel ekstremada sıkışabilir. Simüle tavlama gibi diğer teknikler buna daha az duyarlı olabilir, ancak anladığım kadarıyla hala garanti veremez.

— Joe

1

'Çok boyutlu uzayın' bununla ne ilgisi olduğundan emin değilim. R fonksiyonunun bile gradyan aramasının problemlerle karşılaşacağı birden fazla lokal ekstremi olabilir.

— Suresh Venkat

Eminim eğer fonksiyonlar sürekli ise ve yeterli noktalarda örneklenirse, gradyan inişinin bir noktada başlayarak küresel minimumu bulacağını garanti edebilirsiniz. yani powell algoritması boyunca bir şey. literatür o kadar geniştir ki, böyle bir teorem muhtemelen bir yerde yayınlanır, ancak bunu duymaz. ayrıca yerel optimizasyonun, örnekleme arttıkça yeterli örnekleme altında küresel optimumlara yaklaşabileceğini kanıtlar.

— Haziran'da vzn

biraz ilgili Ayrıca burada güçlü bir şekilde küresel NN veya sayısal yöntem / sezgisel tip yaklaşımlar "yaklaşım algoritmaları" olmadığını iddia yorumlar

— vzn

17

Kısıtsız minimizasyondan bahsettiğinizi düşünüyorum. Sorunuz, belirli bir sorun yapısını düşünüp düşünmediğinizi belirtmelidir. Aksi takdirde, cevap hayır.

Önce bir efsaneyi ortadan kaldırmalıyım. Klasik gradyan iniş yönteminin ( en dik iniş yöntemi olarak da bilinir ) yerel bir minimizer bulması bile garanti edilmez. Birinci derece kritik bir nokta bulduğunda, yani degradenin kaybolduğu yerde durur. Küçültülmekte olan belirli fonksiyona ve başlangıç noktasına bağlı olarak, bir sele noktasında veya hatta küresel bir maksimizatörde son derece iyi bir sonuç elde edebilirsiniz!

$f(x,y) = x^2 - y^2$ $(x_0,y_0) := (1,0)$ $-\nabla f(1,0) = (-2,0)$ $(0,0)$ $f(x,y) = x^2 - 10^{-16} y^2$ $(0,0)$ $\nabla^2 f(x^*,y^*)$ $-10^{-16}$ $+10^{-16}$

f (x) = {\begin{cases} 1 & if x \leq 0 \\ \cos (x) & if 0 < x < π \\ - 1 & if x \geq π . \end{cases}

$f(x) = \begin{cases} 1 & \text{if } x \leq 0 \\ \cos(x) & \text{if } 0 < x < \pi \\ -1 & \text{if } x \geq \pi. \end{cases}$

$x_0 = -2$

Şimdi neredeyse tüm gradyan tabanlı optimizasyon yöntemleri tasarımdan muzdariptir. Sorunuz gerçekten küresel optimizasyonla ilgili . Yine, cevap hayır, küresel bir minimizer tanımlanmasını garanti etmek için bir yöntemi değiştirmek için genel tarifler yoktur. Sadece kendinize sorun: algoritma bir değer döndürür ve bunun küresel bir küçültücü olduğunu söylüyorsa, bunun doğru olup olmadığını nasıl kontrol edersiniz?

Küresel optimizasyonda yöntem sınıfları vardır. Bazıları randomizasyon sağlar. Bazıları çoklu başlangıç stratejileri kullanır. Bazıları sorunun yapısından yararlanır, ancak bunlar özel durumlar içindir. Küresel optimizasyon hakkında bir kitap alın. Bunun tadını çıkaracaksınız.

— Dominique
kaynak

@Roman: Çok hoş geldiniz.

— Dominique

3

Muhtemelen sorunuzun hepsine uyan tek bir cevap yoktur. Ancak, simüle edilmiş tavlama algoritmalarına veya Markov zinciri Monte Carlo (MCMC) yöntemlerine dayanan diğer yaklaşımlara bakmak isteyebilirsiniz . Bunlar, gradyan inişi gibi yerel yöntemlerle de birleştirilebilir.

— mrig
kaynak

1

"sinir ağlarının global optimizasyonu" ile ilgili birçok referans vardır. teknikler benzetilmiş tavlamaya benzer [diğer cevaba bakınız]. temel fikir, rastgele veya sistematik olarak örneklenmiş birçok farklı ağırlık başlangıç noktasından başlayarak ağ gradyanı inişini yeniden başlatmaktır. gradyan inişinin her sonucu daha sonra bir "örnek" gibidir. ne kadar çok numune alınırsa, özellikle hedef fonksiyon sürekli, farklılaştırılabilir, vb. anlamında "iyi davranılırsa", numunelerden birinin küresel optimum olma olasılığı o kadar yüksek olur.

çevrimiçi referanslar

[1] Sinir Ağı Ağırlıklarının Global Optimizasyonu Hamm ve ark.

[2] Sinir ağı eğitimine küresel bir optimizasyon yaklaşımı Voglis / Lagaris

[3] Yapay Sinir Ağlarını Global Optimizasyon Pinter ile Kalibre Etme

[4] Deterministik Hibrit Yaklaşımla Yapay Sinir Ağlarının Global Optimizasyonu Beliakov

[5] Yapay Sinir Ağı Eğitimi için Global Optimizasyon Shang / Wah

— vzn
kaynak

1

Genel olarak, çok değişkenli konveks olmayan fonksiyonları optimize etmek hesaplama açısından zordur. Sertlik farklı tatlarda gelir (kriptografik, NP-sert). Bunu görmenin bir yolu, karışım modellerinin (Guassian veya HMM'lerin karışımı gibi) öğrenilmesinin zor olmasıdır, ancak olasılığı en üst düzeye çıkarmak mümkün olsaydı kolay (*) olurdu. HMM öğrenmenin sertliği ile ilgili sonuçlar için bkz. Http://alex.smola.org/journalclub/AbeWar92.pdf http://link.springer.com/chapter/10.1007%2F3-540-45678-3_36 http: // www.math.ru.nl/~terwijn/publications/icgiFinal.pdf

(*) olağan dejenerasyon ve tanımlanabilirlik koşullarını modulo

— Aryeh
kaynak

0

Dominique ile aynı fikirde değilim. hajek tarafından 1980'lerin ortalarında, belirli katı koşullar altında dışbükey olmayan bir problemin tavlanmasının küresel minimum seviyeye ulaşmasının garanti edildiği gösterilmiştir: http://dx.doi.org/10.1287/moor.13.2.311

— Aaron Brick
kaynak

2

Yukarıda belirtilen sertlik sonuçları ışığında, bu koşullar gerçekten oldukça katı olmalıdır!

— Aryeh