Gibbs örneklemesi nasıl elde edilir?

Aslında bunu sormakta tereddüt ediyorum, çünkü korkarım diğer sorulara veya Gibbs örnekleminde Wikipedia'ya yönlendirileceğim, ancak eldeki şeyi tarif ettikleri hissine sahip değilim.

Koşullu olasılık verildiğinde : p ( x | y ) y = y 0 y = y 1 x = x 0 $p(x|y)$

$$\begin{array}{c|c|c} p(x|y) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{4} & \tfrac{2}{6} \\ \hline x = x_1 & \tfrac{3}{4} & \tfrac{4}{6} \\ \end{array}$$

Ve koşullu olasılık : p ( y | x ) y = y 0 y = y 1 x = x 0 $p(y|x)$

$$\begin{array}{c|c|c} p(y|x) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{3} & \tfrac{2}{3} \\ \hline x = x_1 & \tfrac{3}{7} & \tfrac{4}{7} \\ \end{array}$$

Ortak olasılık :$f_{unique}=p(x,y)$

$$\begin{array}{c|c|c|c} p(x,y) & y = y_0 & y = y_1 & p(x) \\ \hline x = x_0 & a_0 & a_1 & c_0 \\ \hline x = x_1 & a_2 & a_3 & c_1 \\ \hline p(y) & b_0 & b_1 & \\ \end{array}$$

$8$$4*2+3$

$a_0+a_1+a_2+a_3=1 \\ b_0+b_1 = 1 \\ c_0+c_1 = 1$

Hem de:

$\tfrac{1}{4} b_0 = a_0 \\ \tfrac{3}{4} b_0 = a_2 \\ \tfrac{2}{6} (1-b_0) = a_1 \\ \tfrac{4}{6} (1-b_0) = a_3 \\ \tfrac{1}{3} c_0 = a_0 \\ \tfrac{2}{3} c_0 = a_1 \\ \tfrac{3}{7} (1-c_0) = a_2 \\ \tfrac{4}{7} (1-c_0) = a_3$

Hızlı bir şekilde çözüldü$c_0=\tfrac{3}{4}b_0$$\tfrac{2}{3}c_0=a_1$$\tfrac{2}{4}b_0=a_1$$\tfrac{2}{6}(1-b_0)=a_1$$b_0=\tfrac{2}{5}$

$$\begin{array}{c|c|c|c} p(x,y) & y = y_0 & y = y_1 & p(x) \\ \hline x = x_0 & \tfrac{1}{10} & \tfrac{2}{10} & \tfrac{3}{10} \\ \hline x = x_1 & \tfrac{3}{10} & \tfrac{4}{10} & \tfrac{7}{10} \\ \hline p(y) & \tfrac{4}{10} & \tfrac{6}{10} & \\ \end{array}$$

Şimdi, sürekli davaya gidiyoruz. Aralıklara gitmek ve yukarıdaki yapıyı dokunmadan tutmak düşünülemez (bilinmeyenlerden daha fazla denklemle). Ancak, rastgele değişkenlerin (nokta) örneklerine gittiğimizde ne olur? Örnekleme nasıl yapılır

$$x_a \sim p(x|y=y_b) \\ y_b \sim p(y|x=x_a)$$

$p(x,y)$$a_0 + a_1 + a_2 + a_3=1$$\int_X \int_Y p(x,y) dy dx = 1$$\int_Y p(y|x)dy=1$. Kısıtlamaları yazabilir ve Gibbs örneklemesini ilk prensiplerden çıkarabilir miyiz?

Bu yüzden, basit olan Gibbs örneklemesinin nasıl gerçekleştirileceği ile ilgilenmiyorum, ancak nasıl türetileceği ve tercihen çalıştığını nasıl kanıtlayacağımla ilgileniyorum (muhtemelen belirli koşullar altında).

$$\frac{p(\mathbf{x})}{p(\mathbf{x}')} = \prod_i \frac{p(x_i \mid \mathbf{x}_{<i}, \mathbf{x}'_{>i})}{p(x_i' \mid \mathbf{x}_{<i}, \mathbf{x}'_{>i})},$$ $\mathbf{x}'$ , bunu asla kendim için bu amaçla kullanmadım. Bu konuda daha fazla bilgi için Julian Besag'un çalışmalarına bakardım.

$p$

$(x_0, y_0) \sim p(x_0, y_0)$$x_1 \sim p(x_1 \mid y_0)$ , sonra

$$(x_1, y_0) \sim \int p(x_0, y_0) p(x_1 \mid y_0) \, dx_0 = p(x_1 \mid y_0) p(y_0) = p(x_1, y_0).$$

Yani, güncelleniyor$x$ şartlı örnekleme ile numunenin dağılımını değiştirmez.

$p(\mathbf{x}) > 0$