Çoklu beklentileri hesaplarken çekilişler en iyi şekilde nasıl yayılır

Bazı beklentileri hesaplamak istediğimizi varsayalım:

E_{Y} E_{X | Y} [f (X, Y)]

$E_YE_{X|Y}[f(X,Y)]$

Monte Carlo simülasyonunu kullanarak buna yaklaşmak istediğimizi varsayalım.

E_{Y} E_{X | Y} [f (X, Y)] \approx \frac{1}{R S} \sum_{r = 1}^{R} \sum_{s = 1}^{S} f (x^{r, s}, y^{r})

$E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r)$

AMA, her iki dağıtımdan da numune almanın pahalı olduğunu varsayalım, böylece yalnızca sabit bir sayı çizebiliriz $K$ .

Nasıl tahsis etmeliyiz $K$ ? Örnekler: $K/2$ her bir dağıtıma veya en uçta dışa bir beraberlik çeker ve $K-1$ iç çeker, tersi vb ....

Sezgim bana, dağılımların birbirlerine göre varyans / entropi ile ilgili olması gerektiğini söylüyor. Diyelim ki dış olan bir kütle noktası, daha sonra $K$ MC hatasını en aza indiren $Y$ ve Çiz $K-1$ ... $X|Y$ .

Umarım bu açıktı.

— wolfsatthedoor
kaynak

Sizin için düzeltildi

— wolfsatthedoor

"Tam tersi" ve @ Xi'ans cevabına yaptığınız yorum, dış değişkeni iç değişkenten daha fazla çizmenin mümkün olduğunu düşündüğünüzü gösteriyor, ancak bu nasıl mantıklı olabilir - bunun için tüm dışlayıcılar değil

0

$0$ iç israf çizilmiş?

— Juho Kokkala

Yeterince adil, dış başına en az bir beraberlik sanırım. Ya da sanırım çekilişi kaydetmek için programlamayı düşünebilirsiniz

— wolfsatthedoor

@robertevansanders Lütfen Xi'ans yanıtının ilk iki cümlesinde sorunuzun yorumunun doğru olup olmadığını doğrulayın

— Juho Kokkala

Dediğin gibi, evet, ama y ve x'i değiştir

— wolfsatthedoor

Tabakalaşma ve Rao-Blackwellisation ile ilgili olanlar dışında bu, Monte Carlo literatüründe çok az belge bulunan çok ilginç bir sorudur . Bu muhtemelen beklenen koşullu varyans ve koşullu beklentinin varyansı hesaplamalarının nadiren mümkün olmasından kaynaklanmaktadır.

Önce koştuğunuzu varsayalım $R$ simülasyonları $\pi_X$ , $x_1,\ldots,x_R$ ve simüle edilen her biri için $x_r$ , koş $S$ simülasyonları $\pi_{Y|X=x_r}$ , $y_{1r},\ldots,y_{sr}$ . Monte Carlo tahmininiz

δ (R, S) = \frac{1}{R S} \sum_{r = 1}^{R} \sum_{s = 1}^{S} f (x_{r}, y_{r s})

$\delta(R,S)=\frac{1}{RS}\sum_{r=1}^R\sum_{s=1}^S f(x_r,y_{rs})$ Bu tahminin varyansı aşağıdaki gibi ayrıştırılmaktadır

\begin{aligned} var {δ (R, S)} & = \frac{1}{R^{2} S^{2}} R var {\sum_{s = 1}^{S} f (x_{r}, y_{r s})} \\ = \frac{1}{R S^{2}} {var}_{X} E_{Y | X} {\sum_{s = 1}^{S} f (x_{r}, y_{r s}) | x_{r}} + \frac{1}{R S^{2}} E_{X} {var}_{Y | X} {\sum_{s = 1}^{S} f (x_{r}, y_{r s}) | x_{r}} \\ = \frac{1}{R S^{2}} {var}_{X} {S E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R S^{2}} E_{X} [S {var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \\ = \frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R S} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \\ \overset{K = R S}{=} \frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{K} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] \end{aligned}

$\begin{align*} \text{var} \{\delta(R,S)\} &= \frac{1}{R^2S^2} R\text{var} \left\{\sum_{s=1}^S f(x_r,y_{rs})\right\}\\ &= \frac{1}{RS^2} \text{var}_X\mathbb{E}_{Y|X}\left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}+\frac{1}{RS^2}\mathbb{E}_{X}\text{var}_{Y|X} \left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}\\ &=\frac{1}{RS^2} \text{var}_X\{ S \mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS^2} \mathbb{E}_{X}[S\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &=\frac{1}{R} \text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &\stackrel{K=RS}{=}\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{K} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}] \end{align*}$ Bu nedenle, bu varyansı en aza indirmek isterse, en uygun seçim

R = K

$R=K$ . Bunu ima etmek

S = 1

$S=1$ . İlk varyans terimi null olduğunda, bu durumda önemli değildir. Bununla birlikte, yorumlarda tartışıldığı gibi, varsayım

K = R S

$K=RS$ birinin üretimini hesaba katmadığı için gerçekçi değil

x_{r}

$x_r$ [veya bunun ücretsiz olduğunu varsayar].

Şimdi farklı simülasyon maliyetlerini ve bütçe kısıtlamasını varsayalım $R+aRS=b$ , yani $y_{rs}$ maliyeti $a$ taklit etmek için kat daha fazla $x_r$ 'S. Varyansın yukarıdaki ayrışması

\frac{1}{R} {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]} + \frac{1}{R (b - R) / a R} E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}]

$\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{R(b-R)/aR} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]$ en aza indirgenebilir

R

$R$ gibi

R^{*} = b / 1 + {a E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}} / {var}_{X} {E_{Y | X} [f (x_{r}, Y) | x_{r}]}}^{1 / 2}

$R^*=b\big/1+\{a\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}/\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}\}^{1/2}$ [kısıtlamalar altındaki en yakın tam sayı

R \geq 1

$R\ge 1$ ve

S \geq 1

$S\ge 1$ ], ilk varyans sıfıra eşit değilse, bu durumda

R = 1

$R=1$ . Ne zaman

E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] = 0

$\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]=0$ , minimum varyans maksimum değere karşılık gelir

R

$R$ , bu da

S = 1

$S=1$ mevcut formalizmde.

Ayrıca, iç integral içerideyken bu çözeltinin simetrik çözeltiyle karşılaştırılması gerektiğini unutmayın $X$ verilmiş $Y$ ve dış integral, $Y$ (simülasyonların bu sırayla da mümkün olduğunu varsayarsak).

Sorunun ilginç bir uzantısı, farklı sayıda simülasyonu düşünmek olacaktır. $S(x_r)$ simüle edilen her biri için $x_r$ , değere bağlı olarak $\text{var}_{Y|X}\{f(x_r,Y)|x_r\}$ .

— Xi'an
kaynak

Son sonuca göre,

K = R S

$K=RS$ ama sorunun olduğu yerde

K = R S + R

$K=RS+R$ çünkü dış değişkenin çekimlerinin de sayılması gerekir. Buradaki sonuç, dış değişkeni örneklemenin serbest olması durumunda, elbette her iç için yeni bir dış örneği örneklemesi gerektiğini söylüyor. (Ayrıca,

x

$x$ ve

y

$y$ burada soruya göre değişiyor ama elbette önemli değil).

— Juho Kokkala

Evet ama biz

R

$R$ ... dış değişkenlerin

X

$X$ kadar sabittir. Sabiti bir kez örneklemek daha iyidir ve

Y

$Y$

K - 1

$K-1$ sabit yerine

K / 2

$K/2$ kez ve

Y

$Y$

K / 2

$K/2$ kez (bu ne

S = 1

$S=1$ ima eder)? Yoksa soruyu tamamen yanlış mı anlıyorum? (Sadece yorumunuzun ikinci cümlesini okudum - aynı maliyete sahip oldukları sorusunda belirtilen varsayım değil)

— Juho Kokkala

@ Xi'an evet Kalküta doğrudur, çözümünüz genellikle tutamaz. Şimdi iç değişkenin dejenere bir dağılımı olduğunu ve dışının anlamlı bir varyansa sahip olduğunu varsayalım, o zaman mümkün olduğunca az sayıda iç

— çekme

Bence cevabınız doğru olamaz. İç dağılımın dejenere olduğunu ve dışının büyük varyans olduğunu varsayalım, S nasıl olabilir 1

— wolfsatthedoor

@robertevansanders: eğer iç dağılım dejenere ise,

{var}_{Y | X} {f (x_{r}, Y) | x_{r}} = 0

$\text{var}_{Y|X}\{f(x_r,Y)|x_r\}=0$ , dolayısıyla

R^{*} = b

$R^*=b$ ve en yakın tamsayıyı seçiyoruz

R

$R$ kısıtlamalar altında

S \geq 1

$S\ge 1$ ve

R (1 + a S) \leq b

$R(1+aS)\le b$ , bu demek oluyor ki

S = 1

$S=1$ yapmak

R

$R$ mümkün olduğunca yakın

b

$b$ .

— Xi'an