Önemli örneklemeyle üretilen Monte Carlo tahminlerine ilişkin sonuçlar

Geçtiğimiz yıl için oldukça yakından örneklemenin önemi üzerinde çalışıyorum ve yardım almayı umduğum birkaç açık uçlu sorum var.

Önemli örnekleme şemaları ile ilgili pratik deneyimim, zaman zaman fantastik düşük sapma ve düşük sapma tahminleri üretebilmeleridir. Bununla birlikte, daha sık olarak, düşük örnek varyansı ancak çok yüksek sapmaya sahip yüksek hata tahminleri üretme eğilimindedirler.

Herkesin önem örnekleme tahminlerinin geçerliliğini tam olarak ne tür faktörleri açıklayabileceğini merak ediyorum. Özellikle merak ediyorum:

1) Önyargı dağılımı orijinal dağıtımla aynı desteğe sahip olduğunda önem örnekleme tahminlerinin doğru sonuca yakınsaması garanti ediliyor mu? Eğer öyleyse, bu pratikte neden bu kadar uzun sürüyor?

2) Önemli örnekleme yoluyla üretilen bir tahminde yapılan hata ile önyargı dağılımının "kalitesi" (yani sıfır-varyans dağılımıyla ne kadar eşleştiği) arasında ölçülebilir bir ilişki var mı?

3) Kısmen 1) ve 2) 'ye dayanır - basit bir Monte Carlo yönteminden daha önemli bir örnekleme tasarımı kullanmadan önce bir dağıtım hakkında ne kadar bilmek zorunda olduğunuzu ölçmenin bir yolu var mı?

monte-carlo information-theory importance-sampling

— Berk U.
kaynak

Yanıtlar:

\int h (x) f (x) d x

$\int h(x) f(x) \text{d}x$

\int h (x) \frac{f (x)}{g (x)} g (x) d x

$\int h(x) \dfrac{f(x)}{g(x)} g(x) \text{d}x$

f

$f$

g

$g$

\int h^{2} (x) \frac{f^{2} (x)}{g (x)} d x

$\int h^2(x) \dfrac{f^2(x)}{g(x)} \text{d}x$

O (1 / \sqrt{n})

$\text{O}(1/\sqrt{n})$

O (1 / \sqrt{n})

$\text{O}(1/\sqrt{n})$

$|h(x)|f(x)$

— Xi'an
kaynak

Şüpheliyim ki, OP önyargılı, ancak küçük bir varyansı var gibi görünen küçük varyans tahmin edicileri rapor ettiğinden, kendi kendine normalleştirilmiş önem örneklemesi hakkında soru soruyor olabilir. Radford Neal'un iyi bir örnek için Harmonik ortalama tahmincisi üzerindeki rant değerine bakın , bu 0 varyansla örnekleme tahmininin önemini ve bu saçmalık döndürür. Bunun düzenli önemde örneklemede hiç gerçekleşmediğinden emin değilim, ama kesinlikle nadirdir.

— deinst

Bu OP'nin niyeti olmasa bile, kendini normalleştirmenin ne zaman korkunç bir şekilde yanlış gideceğini nasıl anlayacağımızla ilgili bazı işaretlerle ilgilenirim.

— deinst

@deinst Kendini normalleştirme prosedürünün ve tuzaklarının farkında değildim, bu yüzden bunun için teşekkür ederim! Her durumda, sorunların IS planımın özellikleriyle ilgili olabileceğini düşünüyorum, bu yüzden herhangi bir fikriniz varsa bu fikri biraz daha araştırmak istiyorum.

— Berk U.

g (x)

$g(x)$

M

$M$

x_{1} . . x_{M}

$x_1..x_M$

g^{*} (x) = h (x) f (x) / \int h (x) f (x) d x

$g^*(x) = h(x)f(x)/\int{h(x)f(x)dx}$

x_{1} . . x_{M}

$x_1..x_M$

\hat{g (x)}

$\hat{g(x)}$

\hat{g (x)}

$\hat{g(x)}$

N

$N$

y_{1} . . . y_{N}

$y_1...y_N$

Parametrik olmayan bir tahmin kullanmak, Monte Carlo değişkenliğinden daha yüksek bir sıradaki değişkenliği ortaya çıkarır, bu yüzden bunu tavsiye etmem.

— Xi'an

$f$ $g$

δ = \int h (x) f (x) d x

$\delta=\int h(x)f(x)\text{d}x$

x_{1}, \dots, x_{n}

$x_1,\ldots,x_n$

g (x)

$g(x)$

\hat{δ} = \frac{\sum_{i = 1}^{n} h (x) f (x) / g (x)}{\sum_{i = 1}^{n} f (x) / g (x)} .

$\hat{\delta}=\frac{\sum_{i=1}^n h(x)f(x)/g(x)}{\sum_{i=1}^n f(x)/g(x)}.$

X / Y

$X/Y$

ω (X) = f (x) / g (X)

$\omega(X)=f(x)/g(X)$

E_{g} (\hat{δ}) \approx δ + \frac{δ {Var}_{g} (ω (X)) - {Cov}_{g} (ω (X), h (X) ω (X))}{n}

$E_g(\hat{\delta})\approx \delta + \frac{\delta \text{Var}_g(\omega(X))-\text{Cov}_g(\omega(X),h(X)\omega(X))}{n}$

{Var}_{g} (\hat{δ}) \approx \frac{{Var}_{g} (h (X) ω (X)) - 2 δ {Cov}_{g} (ω (X), h (X) ω (X)) + δ^{2} {Var}_{g} (ω (X))}{n} .

$\text{Var}_g(\hat{\delta})\approx\frac{\text{Var}_g(h(X)\omega(X))-2\delta\text{Cov}_g(\omega(X),h(X)\omega(X))+\delta^2\text{Var}_g(\omega(X))}{n}.$

$\text{Var}_g(\omega(X))$ $\text{Cov}_g(\omega(X),h(X)\omega(X))$

— deinst
kaynak

X / Y

$X/Y$

G

$G$

@BerkUstun Büyük G harfi derhal düzelteceğim küçük bir yazım hatasıdır. X / Y, rastgele değişkenlerin genel bir oranıdır. IIRC tüm bunlar Liu'nun Monte Carlo kitabında (başlığında bilimsel olan bir şey) açıklanmıştır

— deinst

@ deinst: Harika bir nokta! Gerçekten de, kendiliğinden normalleşen versiyonların özellikleri, tarafsız öneme sahip örnekleme tahmincisinden oldukça farklıdır. Teoride, paydayı tahmin etmek için ayrı bir önem örnekleyicisine ihtiyaç duyulacaktır.

— Xi'an