Büyük örnek boyutları için dağınıklık sorunu neden zorlaştırılır?

13

Varsayalım ki bir dizi . Her noktası dağılımı kullanılarak oluşturulur $\mathbf{y} = \{y_1, y_2, \ldots, y_N \}$ $y_i$ Arka için elde etmek içinbiz yazmak Minka'nınBeklenti Yayılımıbelgesine göreposterior elde etmek içinhesaplamayaihtiyacımız var

p (y_{i} | x) = \frac{1}{2} N (x, 1) + \frac{1}{2} N (0, 10) .

$p(y_i| x) = \frac12 \mathcal{N}(x, 1) + \frac12 \mathcal{N}(0, 10).$

x

$x$

p (x | y) \propto p (y | x) p (x) = p (x) \prod_{i = 1}^{N} p (y_{i} | x) .

$p(x| \mathbf{y}) \propto p(\mathbf{y}| x) p(x) = p(x) \prod_{i = 1}^N p(y_i | x).$

2^{N}

$2^N$

ve dolayısıyla, büyük örnek boyutları

için problem çözülemez hale gelir. Ancak, bu durumda neden bu kadar hesaplamaya ihtiyacımız olduğunu anlayamıyorum, çünkü tek

olasılıkla

formuna sahiptir.

p (x | y)

$p(x| \mathbf{y})$

N

$N$

y_{i}

$y_i$

p (y_{i} | x) = \frac{1}{2 \sqrt{2 π}} (\exp {- \frac{1}{2} (y_{i} - x)^{2}} + \frac{1}{\sqrt{10}} \exp {- \frac{1}{20} y_{i}^{2}}) .

$p(y_i| x) = \frac{1}{2 \sqrt{2 \pi}} \left( \exp \left\{-\frac12 (y_i - x)^2\right\} + \frac{1}{\sqrt{10}} \exp \left\{-\frac1{20} y_i^2\right\} \right).$

Bu formülü kullanarak, nin basit çarpımı ile posterior elde ediyoruz , bu yüzden sadece işlemine ihtiyacımız var ve bu sorunu büyük örnek boyutları için tam olarak çözebiliriz. $p(y_i| x)$ $N$

Karşılaştırmak için sayısal deney yapıyorum, her terimi ayrı ayrı hesaplamam ve her bir için yoğunlukların ürününü kullanmam durumunda gerçekten aynı posterior mu elde ediyorum . Posteriorlar aynı. Bkz Yanlış Neredeyim? Herhangi biri bana verilen ve örnek için posterior hesaplamak için neden operasyona ihtiyacımız olduğunu açıklayabilir mi? $y_i$ resim açıklamasını buraya girin $2^N$ $x$ $\mathbf{y}$

bayesian mixture posterior

— Alexey Zaytsev
kaynak

N

$N$

O (N)

$O(N)$

x

$x$

y_{i}

$y_i$

O (n \log (n))

$O(n\log(n))$

n

$n$

1

2^{N}

$2^N$ $x$ $2^N$

1

2^{N}

$2^N$

1

N

$N$

2^{N}

$2^N$

x

$x$

N

$N$

x

$x$

4

$x$ $O(n)$ $x$ $2^N$

— Tom Minka
kaynak

2

$y_i$ $p(y_i | x)$ $1-w$ $p_c(y)$ $y$ $x$ $w$

$c_i$ $i$ $0$ $p(y|x)$ $x$

$2^N$

— Dave
kaynak

c_{i}

$c_i$

x

$x$

2^{N}

$2^N$

c

$c$

c_{i}

$c_i$

c_{i}

$c_i$

2^{N}

$2^N$

O (n)

$O(n)$

O (2^{n})

$O(2^n)$