örnekleme maliyeti

Aşağıdaki simülasyon sorun geldi: verilen bir dizi bilinen gerçek sayılar, bir dağıtım ile tanımlanır burada , pozitif kısmını belirtir . Bu dağılımı hedefleyen bir Metropolis-Hastings örnekleyicisini düşünürken, algoritmanın sırasını den ya düşürmek için çok sayıda sıfır olasılıktan yararlanarak verimli bir doğrudan örnekleyici olup olmadığını merak ediyorum. .$\{\omega_1,\ldots,\omega_d\}$$\{-1,1\}^d$

$$\mathbb{P}(X=(x_1,\ldots,x_d))\propto (x_1\omega_1+\ldots+x_d\omega_d)_+$$ $(z)_+$$z$$O(2^d)$$O(d)$

İşte en iyi durumda (ağırlıklar açısından ), ancak en kötü durumda üstel olan oldukça açık bir özyinelemeli örnekleyici .$O(d)$$\omega_i$

Zaten seçtiğimizi ve seçmek istediğinizi varsayalım . hesaplamalıyız. ve tercih olasılığı ile Payda, geçerli herhangi bir örnek seçimi için sıfırdan farklı olacaktır .$x_1, \dots, x_{i-1}$$x_{i}$

$$w(x_1, \dots, x_{i-1}, x_i) = \sum_{x_{i+1} \in \{-1, 1\}} \cdots \sum_{x_{d} \in \{-1, 1\}} \left( \sum_{j=1}^d \omega_j x_j \right)_+$$ $x_i = 1$ $$\frac{w(x_1, \dots, x_{i-1}, 1)}{w(x_1, \dots, x_{i-1}, 1) + w(x_1, \dots, x_{i-1}, -1)}.$$ $x_1, \dots, x_{i-1}$

---

Şimdi, elbette, soru nasıl hesaplanacağı $w(x_1, \dots, x_i)$.

Eğer buna sahipsek $C := \sum_{j=1}^{i} \omega_j x_j \ge \sum_{j=i+1}^{d} \lvert \omega_j \rvert$, sonra $\omega \cdot x \ge 0$ herhangi $x$ önde gelen girişlerle $x_{1:i}$, ve bu yüzden $w$ dönüşür:

$$\begin{align} \sum_{x_{i+1}} \cdots \sum_{x_d} \omega \cdot x &= \omega \cdot \left( \sum_{x_{i+1}} \cdots \sum_{x_d} x \right) \\&= \sum_{j=1}^i \omega_j \underbrace{\left( \sum_{x_{i+1}} \cdots \sum_{x_d} x_j \right)}_{2^{d-i} x_j} + \sum_{j=i+1}^d \omega_j \underbrace{\left( \sum_{x_{i+1}} \cdots \sum_{x_d} x_j \right)}_{0} \\&= 2^{d-i} C .\end{align}$$

Tersi durumda, $C \le - \sum_{j=i+1}^{d} \lvert \omega_j \rvert$, bizde var $\omega \cdot x \le 0$ ve bu yüzden $w(x_1, \dots, x_i) = 0$.

Aksi takdirde, $w(x_1, \dots, x_i) = w(x_1, \dots, x_i, 1) + w(x_1, \dots, x_i, -1)$.

Belleğin bir sorun olmadığını ve içindeki tüm alt hesaplamaları önbelleğe alabileceğimizi varsayın $w(1)$, $w(-1)$bir ağaçta - "güzel" vakalardan birine çarptığımız noktaya kadar, bundan sonra herhangi bir çağrı sabit zaman alır. (Seçmek için bu ağacın tamamını zaten hesaplamamız gerekecek$x_1$O zaman, bu ağaç $w$ hesaplamalar yapılır, örnekleyici yalnızca $O(d)$saati. Soru, ağacın inşa edilmesinin ne kadar sürdüğü veya eşit olarak ne kadar büyük olduğudur.

---

Tabii ki "güzel" vakaları daha hızlı vuracağız $\omega_i$ sıralanır, $\omega_1 \ge \omega_2 \ge \dots \ge \omega_d$.

En iyi durumda, $\lvert \omega_1 \rvert > \sum_{j=2}^d \lvert \omega_j \rvert$. Sonra hemen "güzel" bir davayı$w(1)$ veya $w(-1)$, yani $w$ ağaç yapımı sabit zaman alır ve tüm örnekleyici alır $O(d)$ saati.

En kötü (sıralı) durumda, $\omega_1 = \omega_2 = \dots = \omega_d$. O zaman soru şu: toplam ağaç ne kadar büyük?

Sona erdirmenin ilk yolları elbette $(1, 1, \dots, 1)$ ve $(-1, -1, \dots, -1)$ uzunluk $\lceil d/2 \rceil$. Bu nedenle ağaç bu derinliğe kadar tamamlanmıştır ve en azından$O(2^{d/2})$düğümleri. (Daha fazlası var; muhtemelen kumarbazın harabe problemlerinde kullanılanlar gibi bir argümanla bulabilirsiniz, ancak iki dakika Googling'de bulamadım ve özellikle umursamıyorum - $2^{d/2}$ yeterince kötü ....)

Ayarınızda yalnızca birkaç tane çok büyükse $\omega_i$, bu muhtemelen oldukça pratik bir yaklaşımdır. Eğer$\omega_i$ hepsi benzer büyüklükte, muhtemelen hala üstel ve büyük için çok pahalı $d$.