Uygunsuz Karışımlardan Kesin Örnekleme

Varsayalım sürekli dağılımından örnek almak istiyorum . Formda ifadesi varsa $p(x)$ $p$

p (x) = \sum_{i = 1}^{\infty} a_{i} f_{i} (x)

$p(x) = \sum_{i=1}^\infty a_i f_i(x)$

burada ve kolayca örneklenebilen dağılımlardır, o zaman kolayca örnekleri oluşturabilirim : $a_i \geqslant 0, \sum_i a_i= 1$ $f_i$ $p$

olasılığı olan bir etiketini örnekleme $i$ $a_i$
Örnekleme $X \sim f_i$

$a_i$ ara sıra negatifse bu prosedürü genelleştirmek mümkün müdür ? Bunun bir yerde yapıldığını sanıyorum - muhtemelen bir kitapta, muhtemelen Kolmogorov dağılımı için - bu yüzden bir referansı cevap olarak kabul etmekten mutluluk duyacağım.

Somut bir oyuncak örneği yardımcı olursa, diyelim ki

p (x, y) \propto \exp (- x - y - α \sqrt{x y}) x, y > 0

$p(x,y) \propto \exp(-x-y-\alpha\sqrt{xy})\qquad x,y > 0$ istiyorum şeylerin büyük şemasında çok önemli olmaması gereken teknik nedenlerle

alınız

α \in (0, 2)

$\alpha \in (0, 2)$ .

Prensip olarak, bunu aşağıdaki toplam olarak genişletebilirim:

p (x, y) \propto \sum_{n = 0}^{\infty} \frac{(- 1)^{n} α^{n} (\frac{n}{2})! (\frac{n}{2})!}{n!} (\frac{x^{n / 2} e^{- x}}{(\frac{n}{2})!}) (\frac{y^{n / 2} e^{- y}}{(\frac{n}{2})!}) .

$p(x,y) \propto \sum_{n=0}^\infty \frac{(-1)^n \alpha^n \left( \frac{n}{2} \right)! \left( \frac{n}{2} \right)!}{n!} \left( \frac{x^{n/2} e^{-x}}{\left( \frac{n}{2} \right)!}\right) \left( \frac{y^{n/2} e^{-y}}{\left( \frac{n}{2} \right)!}\right) .$

$(x,y)$ toplamı daha sonra bağımsız bir şekilde, Gama rastgele dağılımı özellikleri olarak örneklenen olabilir içinde -terms. Benim sorunum açıkça katsayıların "nadiren" negatif olduğudur.

Düzenleme 1 : Ben oluşturmak isteyen hemen belirteyim tam örneklerini gelen $p$ yerine altına beklentilerini hesaplayarak yerine, $p$ . İlgilenenler için, bunu yapmak için bazı prosedürler yorumlarda belirtilmiştir.

Edit 2 : Devroye'nin 'Düzgün Olmayan Rastgele Değişken Üretimi'nde bu soruna özel bir yaklaşım içeren referansı buldum . Algoritma, Bignami ve de Matteis'in 'Dağıtım Kombinasyonlarından Örnekleme Üzerine Bir Not' dan alınmıştır . Yöntem, yoğunluğu, toplamın pozitif terimleriyle yukarıdan etkili bir şekilde bağlamak ve daha sonra bu zarfı temel alan reddetme örneklemesi kullanmaktır. Bu, @ Xi'an'ın cevabında açıklanan yönteme karşılık gelir.

— πr8
kaynak

Neden sadece mutlak değerini kullanarak örnek olamaz sizin olumsuzlayarak sonra ve numuneyi? Başka bir deyişle tanımlayın(sonlu olduğu varsayılarak) ve ardından toplamı ile yeniden normalleştirin .

a_{i}

$a_i$

X \sim f_{i}

$X\sim f_i$

Z := \sum_{i = 1}^{\infty} | a_{i} |

$Z:=\sum_{i=1}^\infty |a_i|$

Z

$Z$

— Alex R.

@AlexR. Seni anlarsam, bunun bir versiyonu altındaki beklentileri hesaplamak için pratik olur , ancak yine de kesin örnekler almak için uygun değildir . Kesinlikle bu, aradığım şey olmasa da, ilgili bir sorunun cevabı.

p

$p$

p

$p$

— 8r8

Bu örnekle ne yapmak istediğinize bağlıdır. Örneğin, momentleri hesaplamak amacıyla, negatif katsayısı olan bir bileşenden seçilen herhangi bir noktayı "negatif" nokta olarak işaretleyerek ve katkısını moment tahmininde negatif olarak ağırlıklandırarak, örneklemelerin yoğunluk karışımlarından genelleştirilmesi açıktır. Benzer şekilde, bazı değerlerinin negatif olma olasılığını kabul edebilmeniz koşuluyla, bu tür negatif ağırlıklara sahip bir KDE oluşturabilirsiniz! (cc @ Xi'an)

— whuber

Bir dağıtımın "kesin" örneği ne olurdu? Yine, negatif ağırlığa sahip bir karışımdan yararlanıp yararlanamayacağınız ve nasıl kullanabileceğiniz, örneği nasıl kullanmayı planladığınıza bağlıdır.

— whuber

Bu, sorunuza cevap vermiyor, ancak günlük olasılık istatistiklerinden

— Tim

Yanıtlar:

Bu soruya şaşırdım ama tatmin edici bir çözümle gelmedim.

Olası bir özellik, eğer bir yoğunluk , burada bir yoğunluk , simulasyon ve bu simülasyonları olasılığı ile reddetme simülasyonlar sağlar . Mevcut durumda, pozitif ağırlık bileşenlerinin normalleştirilmiş halidir ve geri kalan bölümüdür;

f (x) = \frac{g (x) - ω h (x)}{1 - ω} ω > 0

$f(x)=\frac{g(x)-\omega h(x)}{1-\omega}\qquad \omega>0$

g

$g$

g (x) \geq ω h (x)

$g(x)\ge \omega h(x)$

g

$g$

ω h (x) / g (x)

$\omega h(x)/g(x)$

f

$f$

g

$g$

g (x) = \sum_{α_{i} > 0} α_{i} f_{i} (x) / \sum_{α_{i} > 0} α_{i}

$g(x)=\sum_{\alpha_i>0} \alpha_i f_i(x) \big/ \sum_{\alpha_i>0} \alpha_i$

ω h

$\omega h$

h (x) = \sum_{α_{i} < 0} α_{i} f_{i} (x) / \sum_{α_{i} < 0} α_{i}

$h(x)=\sum_{\alpha_i<0} \alpha_i f_i(x) \big/ \sum_{\alpha_i<0}\alpha_i$ Bu aslında Devroye, Düzgün olmayan rasgele değişken üretimi , Bölüm II.7.4'ün simülasyon incisinde bulunur, ancak basit bir kabul-reddetme muhakemesinden kaynaklanır.

Bu yaklaşımın bir birinci hesaplama dezavantajı, seçilen bir bileşen ilk taklit rağmen, yani , hem de toplamları ve reddi adımı için hesaplanmalıdır. Toplamlar kapalı form sürümü olmayan sonsuzsa, bu kabul-reddetme yönteminin uygulanmasını imkansız hale getirir . $f_i$ $g$ $h$

İkinci bir zorluk, her iki ağırlık aynı sıraya sahip olması nedeniyle ret oranıüst sınırı yoktur. Aslında ile ilişkili seriler tam olarak yakınsak değilse, kabul olasılığı sıfırdır! Ve yöntem bu durumda uygulanamaz.

\sum_{α_{i} > 0} α_{i} = 1 - \sum_{α_{i} < 0} α_{i}

$\sum_{\alpha_i>0}\alpha_i = 1 - \sum_{\alpha_i<0}\alpha_i$

1 - ϱ^{accept} = \sum_{α_{i} < 0} | α_{i} | / \sum_{i} | α_{i} |

$1-\varrho^\text{accept}=\sum_{\alpha_i<0}|\alpha_i| \Big/ \sum_i |\alpha_i|$ $\alpha_i$

Eğer bir karışım temsil durumunda, olarak yazılabilir önce bileşen seçildikten sonra bileşene uygulanan yöntem seçilebilir. Ancak bu , olası sonsuz toplamdan uyan çiftleri tanımlamak için hassas olabilir . $f$

f (x) = \sum_{i = 1}^{\infty} α_{i} \frac{g_{i} (x) - ω_{i} h (x_{i})}{1 - ω_{i}} ω_{i} > 0

$f(x)=\sum_{i=1}^\infty \alpha_i \frac{g_i(x)-\omega_i h(x_i)}{1-\omega_i}\qquad \omega_i>0$

(g_{i}, h_{i})

$(g_i,h_i)$

g_{i} (x) - ω_{i} h (x_{i}) > 0

$g_i(x)-\omega_i h(x_i)>0$

Bence seri gösterimin kendisinden daha verimli bir çözüm gelebilir. Devroye, Düzgün olmayan rasgele değişken üretimi , Bölüm IV.5, çok çeşitli seri yöntemleri içerir. Örneğin, ' olduğunda hedefinin alternatif seri gösterimi için aşağıdaki algoritma s ile sıfıra ve bir yoğunluktur:

f (x) = κ h (x) {1 - a_{1} (x) + a_{2} (x) - \dots}

$f(x)=\kappa h(x)\{1-a_1(x)+a_2(x)-\cdots\}$

a_{i} (x)

$a_i(x)$

n

$n$

h

$h$

Sorun, son zamanlarda, örneğin Glynn-Rhee yaklaşımında olduğu gibi, MCMC için önyargılı öngörü tahminleri bağlamında ele alınmıştır . Ve Rus rulet tahmincisi (Bernoulli fabrika problemiyle bağlantılı). Ve tarafsız MCMC metodolojisi . Ancak işaret sorunundan kaçış yok ... Bu, sahte marjinal yöntemlerde olduğu gibi yoğunlukları tahmin ederken kullanımını zorlaştırıyor.

Ayrıca düşünme üzerine, benim çıkarılacak sonuç şudur: gerçek bir simülasyon üretmek için hiçbir jenerik yöntem olmasıdır serisi [ziyade karışıma yanlış kullanılan bir terim olarak çıkıyor] bir gibi, serinin elemanlarına> ayrıca yapı empoze olmadan, Devroye İncilinden yukarıdaki algoritma . Gerçekten de, (?) Yoğunlukların çoğu yukarıdaki türün bir seri genişlemesine izin verdiğinden, bu aksi takdirde bir tür evrensel simülasyon makinesinin varlığını ima eder ...

— Xi'an
kaynak

Teşekkür ederim! Ek referansları da takdir ediyorum.

— 8r8

Çok kapsamlı yanıt ve referanslar için ek teşekkürler. Bu cevabı sonlu zamanda kesin örnekler üretmeyi başardığı için kabul ediyorum . Sorun hakkında bir ölçüde düşünmeye devam edeceğim; ümit verici görünen tek ek fikir, 'den örneklemeyi , koşullu olarak olarak görmek ve bazı geometrik olabilir. Bu karakterizasyon için yararlı olan kavrayış ( üzerinde bir dilim örnekleyicisi gibi düşünüyorum ). Şerefe!

p

$p$

p = λ g - μ h

$p = \lambda g - \mu h$

X \sim g

$X \sim g$

λ g ⩾ μ h

$\lambda g \geqslant \mu h$

{(x, y) : μ h (x) < y < λ g (x)}

$\{(x,y): \mu h (x) < y < \lambda g(x) \}$

— 8r8

Koşullu örnekleyiciyi oldukça kötü açıkladım; set tabanlı karakterizasyon biraz daha açıktır (bence). Benim en önemli noktam , son satırdaki iki boyutlu kümeden eşit olarak örnekleyebiliyorsanız , koordinatının doğru dağılıma sahip olduğu sonucudur. Bu karakterizasyonun daha uzun toplam esaslı uygun olmayan karışımlar için faydalı olup olmayacağı hala görülüyor.

(x, y)

$(x,y)$

x

$x$

— 8r8

Ben de bir dilim örnekleyici düşünüyordum, ama bu simülasyon anlamında "kesin" değil.

— Xi'an

İşe yarayacak bir fikir taslağı var. Öyle kesin değil ama umarım asimptotik kesin. Yaklaşmanın kontrol edildiği veya bununla ilgili bir şeyin kanıtlanabileceği gerçekten titiz bir yönteme dönüştürmek için muhtemelen çok fazla iş gerekir.

İlk olarak, Xi'an'ın belirttiği gibi, bir yandan pozitif ağırlıkları ve diğer yandan negatif ağırlıkları gruplayabilirsiniz, böylece nihayetinde sorunun sadece iki ve dağılımı vardır : $g$ $h$

p = λ g - μ h

$p=\lambda g - \mu h$

ile . olduğunu unutmayın . $\lambda-\mu=1$ $\lambda\geq 1$

Benim fikrim şudur. Örnek gözlemlerini . Yapmak: $N$ $p$

değerlerini örnekleyin ve bir listede saklayın $\lambda N$ $g$
örneklenen değerlerinin her biri için , en yakın (kalan) komşularını listeden kaldırın. $\mu N$ $h$

Sonunda puanı alırsınız . Tam olarak en yakın komşu olmak zorunda değil , sadece "yeterince yakın" bir nokta. İlk adım madde üretmek gibidir. İkinci adım antimadde üretmeye benzer ve madde ile çarpışmasına ve iptal olmasına izin verir. Bu yöntem kesin değildir, ancak bazı koşullar altında büyük için asimptotik olarak kesin olduğuna inanıyorum (küçük için neredeyse kesin hale getirmek için önce büyük bir kullanmanız ve daha sonra son listenin küçük bir rastgele bölümünü almanız gerekir ) . Kanıttan çok bir açıklama olan gayri resmi bir argüman veriyorum. $(\lambda-\mu)N=N$ $N$ $n$ $N$

Düşünün gözlem alanı ve küçük hacmi çevresinde Lebesgue hacmi ile . Numune sonra de yer alır listesinde elemanların sayısı olduğu takribi . İkinci adımdan sonra, yaklaşık olarak ondan kaldırılacak ve yaklaşık olarak istenen sayısına sahip olacaksınız . Bunun için hacimdeki nokta sayısının yeterince büyük olduğunu varsaymanız gerekir. $x$ $v$ $x$ $\epsilon$ $g$ $v$ $\lambda Ng(x)\epsilon$ $\mu Nh(x)\epsilon$ $Np(x)\epsilon$

Bu yöntemin büyük boyuta veya ve bazı patolojilerine direnmesi pek olası değildir, ancak küçük boyutta çalışabilir ve yeterince düzgün, "yeterince homojen" dağılımlar gösterebilir. $g$ $h$

Kesin bir yöntem hakkında not:

Bunu ilk önce kesikli dağılımlar için düşündüm ve açıkça bu durumda yöntem kesin değildir, çünkü 0 olasılığı olan numuneler üretebilir. Sonlu işlem süresinde kesin bir yöntemin mümkün olmadığı ve bunun en azından ayrık dağılımlar için imkansızlık kanıtlanabilir. Oyunun kuralı, yalnızca ve için tam olarak "oracle" örnekleyicileri kullanmanıza izin verilmesidir, ancak ve işlevleri olarak bilmezsiniz . Basitlik için Bernoulli dağılımlarıyla sınırlandırın. Tam bir yöntemin olmayan varlığı ile ilgilidir Bernoulli Fabrika teori: Bir oluşturabilir, bir mesafede -coin $g$ $h$ $g$ $h$ $x$ $(\lambda p - \mu q)$ $p$ -coin ve -coin, o zaman için imkansız olduğu bilinen bir -coin'den bir -coin yaratabilirsiniz . $q$ $\lambda p$ $p$ $\lambda>1$

— Benoit Sanchez
kaynak

Bunu düşündüm ama reddettim çünkü işe yarayacağını göstermek için ilk çabalarım, en iyi ihtimalle bir tahmin ve potansiyel olarak fakir olacağının farkına varmasına yol açtı. Evet, asimptotik olarak işe yarayabilir, ancak OP'nin dağıtımdan "tam" örnekleme talebini karşılamaz.

— whuber

Bu yöntemin etkinliği, kesin kabul etme-reddetme yöntemiyle tam olarak aynıdır.

— Xi'an

Kabul. Yine de oldukça farklılar. Kabul et reddetme yönteminin ve değerlerini işlevleri olarak hesaplaması gerekir . Sadece ve örneklemeyi gerçek bir karışımda olduğu gibi "oracle" örnekleyicileri olarak kullanmaya odaklandım . Ne kadar çok düşünürsem, örnekleme kehanetlerine dayanan kesin bir yöntemin olamayacağına ikna oldum.

g

$g$

h

$h$

x

$x$

g

$g$

h

$h$

— Benoit Sanchez

Bunun genel olarak doğru olduğunu, ancak böyle kesin bir yöntem özel durumlarda yararlı sınıfları olabilir yapar mevcuttur. Yani en bazı durumlarda (1) hesaplanması nedeniyle kolaydır ve (2) her iki hesaplamak gerekmez ve bu oran hesaplamak --Yeni yeterlidir.

g / (g + h)

$g/(g+h)$

g

$g$

h

$h$

— whuber

@BenoitSanchez Ayrıntılı yanıtınız için teşekkür ederiz; Sonunda kesinliğin (potansiyel) imkansızlığı hakkındaki yorumları özellikle takdir ediyorum. Geçmişte Bernoulli Fabrikalarına rastladım ve onları oldukça zor buldum; Konuyu tekrar gözden geçirmeye çalışacağım ve herhangi bir görüş sağlayıp sağlamadığını göreceğim.

— 8r8