Optimizasyon teknikleri örnekleme teknikleriyle eşleşiyor mu?

Herhangi bir genel örnekleme algoritmasından, bir optimizasyon algoritması türetilebilir.

Gerçekten de, fonksiyonunu en üst düzeye çıkarmak için , den örnek çizmek yeterlidir . İçin yeterince küçük, bu numuneler fonksiyonu global maksimum (veya uygulamada yerel maksimum) yakın düşecek . $f: \textbf{x} \rightarrow f(\textbf{x})$ $g \sim e^{f/T}$ $T$ $f$

Tersi mümkün mü? Bir fonksiyonun ya da kombinatoryal ifadenin maksimumunu bulmak için bir buluşsal yöntem göz önüne alındığında, verimli bir örnekleme prosedürü çıkarabilir miyiz?

Örneğin HMC, gradyan bilgisinden faydalanıyor gibi görünmektedir. Hessian'ın BFGS benzeri yaklaşımından yararlanan bir örnekleme prosedürü oluşturabilir miyiz? (değiştir: görünüşe göre evet: http://papers.nips.cc/paper/4464-quasi-newton-methods-for-markov-chain-monte-carlo.pdf ) Birleştirici problemlerde MCTS kullanabiliriz, bunu çevirebilir miyiz örnekleme prosedürüne?

Bağlam: örneklemedeki bir zorluk, olasılık dağılımının kütlesinin çoğunun çok küçük bir bölgede bulunmasıdır. Bu tür bölgeleri bulmak için ilginç teknikler vardır, ancak doğrudan tarafsız örnekleme prosedürlerine dönüşmezler.

Düzenleme: Şimdi bu sorunun cevabının biraz karmaşıklık sınıfları #P ve NP eşitliğine eşdeğer olduğunu ve cevabı büyük olasılıkla "hayır" hale getirdiğine dair kalıcı bir his var. Her örnekleme tekniğinin neden bir optimizasyon tekniği verdiğini açıklıyor, tersi değil.

sampling optimization

— Arthur B.
kaynak

Her ne kadar bu sorudaki kelimelerin çoğu hakkında geleneksel bir anlayışa sahip olduğumu düşünsem de, bundan sonra ne elde edeceğinden emin değilim. "Örnekleme" ile ne demek istediğinizi ve tam olarak "optimize edilecek" ne demek istediğinizi biraz daha açıklayabilir misiniz? Örtük olarak, okuyucularınızın aklında bir “dağıtım” ın (ya da ailesinin?) Yer aldığı ve belirli bir hedefin kabul edildiği belirli bir ayar olduğunu aklınızda bulundurursunuz, ancak kişi yalnızca ne yaptığınızı gerçekten düşündüğünüzü tahmin edebilir. son paragrafta yer alan geniş ifadeler gibi.

— whuber

"Örnekleme" ile kastedilen, bir sabite kadar bilinen bir log-olasılık fonksiyonu verilen bir dağılımdan sözde rastgele bir örnek çizmek. Örneğin, MCMC örneklemesi, Gibbs örneklemesi, Beam Örneklemesi, vb. "Optimizasyon" ile verilen bir fonksiyonun değerini en üst düzeye çıkaran parametreler bulma girişimidir. Örneğin, gradyan inişi, simpleks algoritması, simüle tavlama optimizasyon teknikleridir.

— Arthur

Simüle tavlama ve MCMC örneklemesi arasında doğal bir harita vardır. HMC ve degrade iniş arasında daha az doğrudan bir eşleme var (eğer şaşıyorsanız). Benim sorum bunun daha sistematik hale getirilip getirilemeyeceğidir. Örneklemedeki bir zorluk, olasılık dağılımının kütlesinin çoğunun çok küçük bir bölgede bulunmasıdır. Bu bölgeyi bulmak için ilginç teknikler vardır, ancak doğrudan tarafsız örnekleme prosedürlerine dönüşmezler.

— Arthur

Lütfen sorunuzu bu açıklamaları içerecek şekilde düzenleyin. Bu çok önemlidir, çünkü "örnekleme" kelimesini (biraz uzmanlaşmış) kullanımınız bağlamınıza uygun olmasına rağmen birçok okuyucunun anlayabileceğinden farklıdır. Ayrıca, doğru olmasına rağmen, "optimizasyon" ile ilgili açıklamanız burada anlamını yeterince kesin hale getirmede yardımcı görünmemektedir: "verilen fonksiyon" un ne olduğunu ve "örnekleme" ile nasıl ilişkilendirilebileceğini belirlemek yararlı eklemeler olacaktır.

— whuber

Şimdi daha iyi?

— Arthur

Max Welling ve arkadaşları tarafından bu iki makalede bir bağlantı sağlandı:

Burada özünde "öğrenme" yani. bir modelin optimizasyonu arkadan örneklemeye sorunsuz bir şekilde geçer.

— bayerj
kaynak

Bir bağlantı var, bu Gumbel-Max hilesi!

http://www.cs.toronto.edu/~cmaddis/pubs/astar.pdf

— Arthur B.
kaynak

Bir olasılık sezginin CDF'sini bulmaktır. Sonra monte carlo teorisinden biliyoruz ki $U \sim unif[0,1]$ o $F^{-1}(U) \sim F$ burada F, peşinde olduğunuz dağılımın cdf'sidir. Cdf'yi tam olarak bulamazsanız, basit bir kabul-reddetme tabanlı sezgisel kullanabilirsiniz.

— Sid
kaynak