Gürültülü bir fonksiyonda matematiksel optimizasyon

Let olması oldukça iyi bir fonksiyon (örneğin, sürekli, türevlenebilir, çok az lokal maksimumlar vb belki konkav). Ben : bir maxima bulmak istiyorum : mümkün olduğunca büyük kılan bir değer . $f:\mathbb{R}^d \to \mathbb{R}$ $f$ $x \in \mathbb{R}^d$ $f(x)$

Ben değerlendirmek için bir prosedür olsaydı benim seçim herhangi girişine doğrusu ben standart kullanabilirsiniz matematiksel optimizasyon Ancak, benim uygulamada bir yok yokuş tırmanma, gradyan (iyi, gradyan çıkış) vb: teknikleri tam olarak değerlendirmenin yolu . Bunun yerine, değerini tahmin etmenin bir yolu var . $f$ $f(x)$ $f(x)$

Özellikle, herhangi bir ve herhangi bir göz önüne alındığında , tahmini verecek ve beklenen hatası yaklaşık olan bir kehanetim var . Bu kehanet çağrısının çalışma süresi ile orantılıdır . (Bir tür simülasyon ile uygulanır; simülasyonun doğruluğu, deneme sayısının karekökü ile artar ve kaç deneme çalışacağını seçebilirim, böylece istenen doğruluğu seçebilirim.) Böylece bu bana bir istediğim herhangi bir doğruluk hakkında bir tahmin elde etmenin bir yolu, ancak tahminin ne kadar doğru olmasını istiyorum, o kadar uzun sürecek. $x$ $\varepsilon$ $f(x)$ $\varepsilon$ $1/\varepsilon^2$

Bu gürültülü oracle Verilen , bir maksimumları hesaplamak için herhangi teknikler vardır verimli mümkün olduğunca? (Daha doğrusu yaklaşık bir maksimum bulmak.) Bu modelde çalışan yokuş tırmanma, eğim inişi, vs. varyantları var mı? $f$ $f$

Tabii ki, çok küçük bir değerini düzeltebilirim ve bu kehanetle tepeye tırmanma veya gradyan inişini uygulayabilirim, aynı boyunca devam . Bununla birlikte, bu gereksiz yere verimsiz olabilir: başlangıçta böyle kesin bir tahmine ihtiyaç duymayabiliriz, oysa çözümü sıfırlarken sonun yakınındaki hassasiyet daha önemlidir. Öyleyse, optimizasyon sürecini daha verimli hale getirmek için tahminimin doğruluğunu dinamik olarak kontrol etme yeteneğimden yararlanmanın bir yolu var mı? Bu tür bir sorun daha önce incelendi mi? $\varepsilon$ $\varepsilon$

optimization approximation

— DW
kaynak

Kendi çalışma alanını garanti etmek için çok hızlı bir optimizasyon problemi gibi görünüyor. Simüle edilmiş tavlama ne olacak? Fikirleri oradan uyarlayabilir misiniz - geçiş olasılıkları ve sıcaklık programı? Orada bir bağlantı var - sıcaklık düştükçe ve sizin durumunuzda düşmesini istiyorsunuz .

ϵ

$\epsilon$

— randomsurfer_123

siber-kroniklik, yakın zamanda bir GA programında tam olarak bu durumla karşılaştı. fonksiyon değerlendirmesinin hassasiyetinin kabaca sıcaklıktaki düşüşle eşleşmesi gerektiği taklit tavlamanın yukarıdaki rs ile kararlaştırılmıştır. başka bir fikir, her noktada sabit bir örnek sayısı yapmak ve ortalamayı tahmin olarak almaktır. daha gelişmiş bir teori size sadece hiçbir şey için bir şey alamadığınızı ve optimizasyonu geliştiren değerlendirmelere kısayol olmadığını söyleyebilir.

— vzn

Tam işlevini, gürültülü işleviyle değiştirebilir; burada , gürültü bağımlılığını tanımlamak için kullanılan ve gibi yapay bir parametredir gürültüyü içerir. $f(x,p)$ $f(x+\Delta x, p + \Delta p)$ $p$ $\Delta x$ $\Delta p$

Stokastik optimizasyon ve sağlam optimizasyonda kullanılan bazı teknikler uygulanabilir.
Çünkü maxima yakınında,daha az tehlikelidir. $\frac{\partial f}{\partial x}\approx 0$ $\Delta x$ $\Delta p$
Bazen değerlendirirken doğru yaklaşık olabilir. Çoğu zaman, bu sadece teoride doğrudur, çünkü uygulanmaz ve bazı bölümler özel bakım gerektirir. $\frac{\partial f}{\partial x}(\tilde{x}, \tilde{p})$ $f(\tilde{x}, \tilde{p})$
(ve ) 'nin istenen "küçüklüğü" bir "son kullanıcı" kararıdır. Biri kontrol etmek için sezgisel tarama sunabilir, ancak ile orantılı bir çalışma süresi tam otomatik doğrulukla işleme için çok yavaştır. $\Delta p$ $\Delta x$ $1/\epsilon^2$
Verilen gürültü ve çalışma zamanı dengelemesi, bu sorunu daha iyi çalışılan problemlerden ayıran şeydir. Sorunlar sadece kaçınılmaz gürültü daha yaygın ve daha iyi çalışıldı idi.

— Thomas Klimpel
kaynak

Fikir için teşekkürler. Bu değiştirmenin tam olarak ne anlama geldiğini ve nasıl yardımcı olduğunu anlamak için biraz uğraşıyorum. Bu

yerine

eşdeğer midir? Ben emin bir anlam çıkarmaya nasıl olduğum

: Eğer doğru teklifinizi anlarsanız, düzeltilmiş olacak ve o yüzden genelliği kaybetmeden (seçebilirsiniz şey olmayacak yaparız diye de set

tanımına bağımlılığı özümsemek

f (x, p)

$f(x,p)$

f^{*} (x + Δ x, Δ p)

$f^*(x+\Delta x,\Delta p)$

p

$p$

p = 0

$p=0$

f^{*}

$f^*$ ). Stokastik optimizasyon ve sağlam optimizasyon, aradığım şeyler gibi aşağı yukarı ses çıkarıyor, bu yüzden bu çok yararlı. Teşekkür ederim.

— DW

@DW Evet,

ayarlayabilirsiniz . Daha sonra gürültülü versiyonu

olduğu

gibi,

gürültüyü içerir. Daha doğrusu, sadece gürültüyü içermezler, gürültüdürler.

p = 0

$p=0$

f (x, 0)

$f(x,0)$

f (x + Δ x, Δ p)

$f(x+\Delta x, \Delta p)$

Δ x

$\Delta x$

Δ p

$\Delta p$

— Thomas Klimpel