Yüksek boyutlu bir işlevin beklenen değerini değerlendirmek için MCMC kullanma

10

Optimizasyonla ilgili bir araştırma projesi üzerinde çalışıyorum ve yakın zamanda bu ortamda MCMC kullanma fikri vardı. Ne yazık ki, MCMC yöntemlerinde oldukça yeniyim, bu yüzden birkaç sorum vardı. Sorunu tanımlayıp ardından sorularımı sorarak başlayacağım.

bir maliyet fonksiyonunun beklenen değerini tahmin burada , yoğunluğuna sahip dimentional rastgele bir değişkendir. . $c(\omega)$ $\omega = (\omega_1,\omega_2,...\omega_h)$ $h$ $f(\omega)$

Bizim durumumuzda, nın kapalı form versiyonu mevcut değildir. Bu, beklenen değere yaklaşmak için Monte Carlo yöntemlerini kullanmamız gerektiği anlamına gelir. Ne yazık ki, MC veya QMC yöntemleri kullanılarak oluşturulan tahminlerinin pratik bir ortamda yararlı olamayacak kadar çok varyansı olduğu ortaya çıktı. $c(\omega)$ $E[c(\omega)]$

nın düşük varyans tahminini üretecek örnek noktaları oluşturmak için önemli bir örnekleme dağılımı kullanmak zorunda olduğumuz fikri . Bizim durumumuzda ideal öneme sahip örnekleme dağılımı, kabaca orantılı olmalıdır . nın sabit olarak nasıl bilindiğini görünce , sonunda MC teklif dağılımı ile birlikte dan örnek üretmek için MCMC kullanıp kullanamayacağımı merak ediyorum . $E[c(\omega)]$ $g(\omega)$ $c(\omega)f(\omega)$ $g(\omega)$ $c(\omega)f(\omega)$ $g(\omega)$

Buradaki sorularım:

MCMC bu ayarda kullanılabilir mi? Eğer öyleyse, hangi MCMC yöntemi uygun olur? MATLAB'da çalışıyorum, bu yüzden zaten MATLAB uygulaması olan her şeyi tercih ediyorum.
MCMC'nin yazma süresini hızlandırmak için kullanabileceğim herhangi bir teknik var mı? Sabit dağılıma ulaşıldığını nasıl anlayabilirim? Bu durumda, belirli bir için hesaplamak oldukça zaman alır . $c(\omega)$ $\omega$

— Berk U.
kaynak

son paragrafta yazım hatası? yerine ?

C (w)

$C(w)$

c (w)

$c(w)$

— mpiktas

Sen yok olması kapalı bir biçim yok sırf yüksek boyutlu integraller için Monte Carlo yöntemleri kullanmak. Sen olabilir dayalı yöntemleri kullanın seyrek ızgaraları . Artıları ve eksileri kendim bilmiyorum.

— onestop

@onestop - Sen doğru seyrek ızgaraları benim durumumda biraz daha iyi çalışır, ancak ben de bu fikri test etmek istiyorum.

— Berk U.

Biraz finanse benziyor.

— Wok

1

Finansmana uygulanabilir. Yine de güç sistemlerinin optimal yönetimi için kullanıyoruz :)

— Berk U.

4

MCMC'nin sadece sayısal bir entegrasyon aracı olduğunu ve bu konuda oldukça verimsiz olduğunu her zaman hatırlıyorum. Bu sihir / mistik bir şey değil. Çok faydalıdır, çünkü uygulanması oldukça kolaydır. Diğer bazı sayısal entegrasyon tekniklerine kıyasla fazla düşünmeyi gerektirmez. Örneğin, herhangi bir türev yapmak zorunda değilsiniz. Sadece "rastgele sayılar" üretmelisiniz.

Bununla birlikte, herhangi bir sayısal entegrasyon yöntemi gibi, evrensel bir catch all aracı değildir. Yararlı olduğu durumlar ve olmadığı durumlarda vardır.

Başka bir teknik kurmak daha akıllıca olabilir. Ne kadar büyük bağlı olarak Eğer sonuçlarını beklemek hazırlanır ve ne kadar hızlı bilgisayar, ve ne kadar zaman. Düzgün bir ızgara işi yapabilir (bu küçük bir veya uzun bir bekleme gerektirir). "İş" integrali değerlendirmektir - denklem sizin veya sonuca hangi anlamı eklediğimi umursamaz (ve dolayısıyla sonucu rastgele elde edip etmememiz umurumda değildir). $h$ $h$

Ayrıca, tahminleriniz oldukça doğruysa, keskin bir şekilde zirveye ulaşacak ve bir delta işlevine çok benzeyecektir, bu nedenle integral etkili bir şekilde yerine . $\omega$ $f(\omega)$ $\omega\rightarrow\omega_{max}$

Başka bir sayısal entegrasyon tekniği, integralin altında bir taylor serisi kullanmaktır. $f(\omega)\approx f(\omega_{max})+(\omega-\omega_{max})f'(\omega_{max})+\frac{1}{2}(\omega-\omega_{max})^{2}f''(\omega_{max})+\dots$

Bu anları kolayca elde edildiğinde faydalı bir stratejidir . $\omega$

Edwin Jaynes'in bu konuda güzel bir teklifi var:

bir şeyi yapmanın rastgele bir yolu olduğunda, daha iyi sonuçlar veren ancak daha fazla düşünmeyi gerektiren rastgele olmayan bir yol vardır.

Bir "daha düşünme" yolu integrali yapmak için "tabakalı MCMC" kullanmaktır. Yani "rastgele" yerine tüm parametre alanında bir nokta seçin: "katmanlara" ayırın. Bu "tabakalar", integralin yüksek kısmının iyi bir aralığını elde edebilmeniz için seçilmelidir. Sonra her tabaka içinde rastgele örnek. Ama bu hayal edebileceğim kendi kodunuzu yazmanızı gerektirecektir (yani daha fazla düşünme).

— probabilityislogic
kaynak

Paylaşımın için çok teşekkür ederim. Tabakalı MC fikrini çok beğeniyorum. Onu okuyabilmem için üzerinde herhangi bir kaynak bilip bilmediğinizi merak ediyordum? Eylemde bir örneği olan her şey çok takdir edilecektir.

— Berk U.

Bu benim sahip olduğum bir fikir, bu yüzden herhangi bir kaynak bilmiyorum. Tabakaları tanımlayan başka bir katman eklenerek MCMC çerçevesine konulabilir. Ve ana zayıf yönlerimden biri bir şeyler yapmak - Ben yürekten bir düşünürüm! Bunun sana pek yardımcı olmadığını biliyorum ve bunun için özür dilerim. Ama şüphesiz bunu düşünen tek kişi ben değilim. "Tasarım tabanlı" istatistikler ve "Bayes istatistikleri" yapan herkes kesinlikle bunu düşünebilirdi.

— olasılık

2

Buradaki değişkenlerinizin birbiriyle ilişkili olduğuna dair herhangi bir belirti yok, bu yüzden neden düzenli Monte Carlo'nun aksine MCMC'yi kullanacağınızı bilmiyorum. Bahsedilen tabakalı örnekleme (Latin hiperküp) ve QMC dahil olmak üzere birçok farklı örnekleme yöntemi vardır. Seyrek kareleme ızgaraları geometrik olarak büyüdüğü için (boyutsallığın laneti), sorunun boyutu çok yüksek değilse (10'dan fazla değil) seyrek kareleme yöntemleri çok iyidir.

Ama önem örneklemesi konusunda doğru yolda olduğunuz anlaşılıyor. Buradaki anahtar, büyük olasılıkla bulunduğunuz bölgeye yakın konsantre olan ve nominal dağılımdan daha kalın kuyruklara sahip önyargılı bir dağıtım seçmektir.

Bunun açık bir araştırma sorunu olduğunu eklemek isterim, bu yüzden iyi bir şey bulursanız topluluğun ilgisini çekebilir!

— Gary
kaynak

Bunun için teşekkürler! MCMC'nin etkinliği ile değişkenler arasındaki ilişki arasındaki ilişki hakkında biraz daha bilgi verebilir misiniz? MCMC'nin değişkenler ilişkilendirildiğinde mevcut sayısal entegrasyon tekniklerinden daha fazla avantaj sağlayacağını düşünmüştüm - ama neden böyle bir neden olduğunu açıklayamıyordum.

— Berk U.

0

Kimse soruyu doğrudan doğrudan cevaplamadığı için: evet dan örnek almak için MCMC kullanabilirsiniz . MCMC, dağılımın sadece orantısallık sabitine kadar bilindiği herhangi bir dağılımdan numune almak için kullanılabilir. $g(\omega)$

Ayrıca, MC entegrasyon alanında varyans azaltma tekniklerine de bakmak isteyebilirsiniz. Kendine yeten bir dizi kaynak, Art Owen at Stanford'un ücretsiz kitap bölümleridir . Özellikle 8, 9 ve 10 bölümleri.

Orada uyarlanabilir örnekleme, özyineleme ve diğer tekniklerin derinlemesine tedavilerini bulacaksınız.

— JKnight
kaynak