İki Gauss Süreci'ni nasıl karşılaştırıyorsunuz?

Kullback-Leibler sapması , iki olasılık yoğunluk fonksiyonunu karşılaştırmak için bir metriktir, ancak iki GP'nin ve karşılaştırmak için hangi metrik kullanılır ? $X$ $Y$

gaussian-process metric

— pushkar
kaynak

d (X, Y) = E [sup_{t} | X (t) - Y (t) |]

$d(X,Y)=\mathbb{E}\left[ \sup_t |X(t)-Y(t)| \right]$

— Zen

@Zen: Zamanınız varsa, bu mesafe metriği hakkında daha fazla bilgi edinmek istiyorum.

— Neil G

Merhaba Neil. Bu konuda fazla bir şey bilmiyorum. Lütfen, aşağıdaki cevabımı görün.

— Zen

Yanıtlar:

Gauss süreçlerinin nin dağılımının, muhtemelen sonsuz için çok değişkenli Gauss'un uzantısı olduğunu unutmayın . Böylece, üzerine entegre ederek GP olasılık dağılımları arasındaki KL sapmasını kullanabilirsiniz : $\mathcal{X}\to\mathbb{R}$ $\mathcal{X}$ $\mathbb{R}^\mathcal{X}$

D_{K L} (P | Q) = \int_{R^{X}} \log \frac{d P}{d Q} d P .

$D_{KL}(P|Q)=\int_{\mathbb{R}^\mathcal{X}} \log \frac{dP}{dQ} dP\,.$

İşlemleri GP dağıtımlarına göre tekrar tekrar örnekleyerek, bu miktarı sayısallaştırılmış bir üzerinden sayısal olarak tahmin etmek için MC yöntemlerini kullanabilirsiniz . Yakınsama hızının yeterince iyi olup olmadığını bilmiyorum ... $\mathcal{X}$

Açıklama ki eğer ile sonlu , sonra yine çok değişkenli Normal dağılımlar için olağan KL sapma düşmek: $\mathcal{X}$ $|\mathcal{X}|=n$

D_{K L} (G P (μ_{1}, K_{1}), G P (μ_{2}, K_{2})) = \frac{1}{2} (t r (K_{2}^{- 1} K_{1}) + (μ_{2} - μ_{1})^{⊤} K_{2}^{- 1} (μ_{2} - μ_{1}) - n + \log \frac{| K_{2} |}{| K_{1} |})

$D_{KL}\big(\mathcal{GP}(\mu_1,K_1), \mathcal{GP}(\mu_2,K_2)\big) = \frac 1 2 \Big(tr(K_2^{-1}K_1) + (\mu_2\!-\!\mu_1)^\top K_2^{-1}(\mu_2\!-\!\mu_1)-n+\log\frac{|K_2|}{|K_1|}\Big)$

— Emile
kaynak

Bahsettiğiniz iki yolu (mu1 ve mu2) nasıl hesaplayabilirim. Ya da onları gauss süreci için her zamanki gibi sıfıra mı almalıyım?

— Marat Zakirov

Ol, eğer , ortalama işlevi olan bir Gauss işlem olup ve kovaryans fonksiyonu , o zaman, her için , rasgele vektör , ortalama vektör ve kovaryans matrisi , burada ortak kısaltma . $X:T\times \Omega\to\mathbb{R}$ $m$ $K$ $t_1,\dots,t_k\in T$ $(X(t_1),\dots,X(t_k))$ $(m(t_1),\dots,m(t_k))$ $\Sigma=(\sigma_{ij})=(K(t_i,t_j))$ $X(t)=X(t,\,\cdot\,)$

Her gerçekleşme , etki alanı dizin kümesi olan gerçek bir işlevdir . Diyelim ki . İki verilen Gauss Süreçleri ve , iki gerçekleşmeleri arasındaki bir ortak mesafe ve olup. Bu nedenle, bu iki işlem arasında mesafeyi doğal görünen ve olarak $X(\,\cdot\,,\omega)$ $T$ $T=[0,1]$ $X$ $Y$ $X(\,\cdot\,,\omega)$ $Y(\,\cdot\,,\omega)$ $\sup_{t\in[0,1]} |X(t,\omega) - Y(t,\omega)|$ $X$ $Y$

d (X, Y) = E [sup_{t \in [0, 1]} | X (t) - Y (t) |] . (*)

$d(X,Y) = \mathbb{E}\!\left[\sup_{t\in[0,1]} \left| X(t) - Y(t)\right|\right] \, . \qquad (*)$ Bu mesafe için analitik bir ifade olup olmadığını bilmiyorum, ancak Monte Carlo yaklaşımını aşağıdaki gibi hesaplayabileceğinize inanıyorum. Bazı ince ızgara saptamak ve örnekleri çizmek ve dan için sırasıyla normal rastgele vektörler ve . Yaklaşık ile

0 \leq t_{1} < \dots < t_{k} \leq 1

$0\leq t_1<\dots<t_k\leq 1$

(x_{i 1}, \dots, x_{i k})

$(x_{i1},\dots,x_{ik})$

(y_{i 1}, \dots, y_{i k})

$(y_{i1},\dots,y_{ik})$

(X (t_{1}), \dots, X (t_{k}))

$(X(t_1),\dots,X(t_k))$

(Y (t_{1}), \dots, Y (t_{k}))

$(Y(t_1),\dots,Y(t_k))$

i = 1, \dots, N

$i=1,\dots,N$

d (X, Y)

$d(X,Y)$

\frac{1}{N} \sum_{i = 1}^{N} max_{1 \leq j \leq k} | x_{i j} - y_{i j} | .

$\frac{1}{N} \sum_{i=1}^N \max_{1\leq j\leq k} |x_{ij}-y_{ij}| \, .$

— Zen
kaynak

Her vektörden nasıl örnek alıyorsunuz? GP'lerin her birinde ortalamaları örneklerseniz sapmaları dikkate almazsınız. Aksi takdirde tutarlı bir örnekleme tekniği tasarlamanız gerekir.

— pushkar

Bu mükemmel bir kaynak: gaussianprocess.org/gpml/chapters

— Zen

Bu sorunun cevabını da okuyabilirsiniz: stats.stackexchange.com/questions/30652/…

— Zen

Bunun beri bir mesafe olmadığına dikkat edin . KL, iki gerçekleşmeyi değil iki dağılımı karşılaştırdığından, Zen'in iki GP arasındaki mesafesi ve şuDejenere olmayan Gauss işlemi için .

d (X, X) \neq 0

$d(X,X) \neq 0$

d (G_{1}, G_{2}) = E_{X \sim G_{1}, Y \sim G_{2}} [sup_{t} | X (t) - Y (t) |]

$d(G_1,G_2)=\mathbb{E}_{X\sim G_1, Y\sim G_2}[\sup_t |X(t)-Y(t)|]$

E_{X \sim G, Y \sim G} sup_{t} | X (t) - Y (t) | > 0

$\mathbb{E}_{X\sim G, Y\sim G} \sup_t |X(t)-Y(t)| > 0$

G

$G$

— Emile

@Emile: tanımını kullanarak nasıldır ?

d (X, X) \neq 0

$d(X,X)\neq 0$

(*)

$(*)$

— Zen