Bayesian çevrimiçi değişim noktası tespiti (marjinal tahmin dağılımı)

Adams ve MacKay ( link ) tarafından yapılan Bayesian çevrimiçi değişim noktası tespit belgesini okuyorum .

Yazarlar marjinal tahmin dağılımını yazarak başlar:

P (x_{t + 1} | x_{1 : t}) = \sum_{r_{t}} P (x_{t + 1} | r_{t}, x_{t}^{(r)}) P (r_{t} | x_{1 : t}) (1)

$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t} P(x_{t+1} | r_t, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) \qquad \qquad (1)$ nerede

$x_t$ o zaman gözlem mi $t$ ;
$\textbf{x}_{1:t}$ zamana kadar gözlem kümesini belirtir $t$ ;
$r_t \in \mathbb{N}$ geçerli çalışma uzunluğudur (son değişiklik noktasından bu yana geçen süre, 0 olabilir); ve
$\textbf{x}_t^{(r)}$ koşuyla ilişkili gözlem kümesidir $r_t$ .

Denk. 1 resmi olarak doğrudur (@JuhoKokkala'nın aşağıdaki cevabına bakınız), ama benim anlayışım aslında $x_{t+1}$ aşağıdaki gibi genişletmeniz gerekir:

P (x_{t + 1} | x_{1 : t}) = \sum_{r_{t}, r_{t + 1}} P (x_{t + 1} | r_{t + 1}, x_{t}^{(r)}) P (r_{t} | x_{1 : t}) P (r_{t + 1} | r_{t}) (1 b)

$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t, r_{t+1}} P(x_{t+1} | r_{t+1}, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) P(r_{t+1} | r_t) \qquad (1\text{b})$

Benim akıl yürütmem (gelecek) zamanda bir değişim noktası olabileceğidir $t+1$ , ancak arka $P(r_t | \textbf{x}_{1:t})$ sadece $t$ .

Mesele şu ki, makaledeki yazarlar bizi Eq. 1 olduğu gibi (bkz. Kağıttaki Denklemler 3 ve 11) ve 1b değil . Yani, görünüşte bir değişim noktası olasılığını görmezden geliyorlar $t+1$ tahmin ederken $x_{t+1}$ mevcut verilerden $t$ . Bölüm 2'nin başında en geç

Tahmin dağılımını hesaplayabileceğimizi varsayıyoruz [ $x_{t+1}$ ] belirli bir çalışma uzunluğuna bağlı $r_t$ .

belki de hile nerede. Ancak genel olarak, bu öngörücü dağılım Denklem gibi görünmelidir. 1b; ki yaptıkları bu değildir (Denk. 11).

Neler olduğunu anladığımdan emin değilim. Belki de gösterimle ilgili komik bir şeyler var.

Referans

Adams, RP ve MacKay, DJ (2007). Bayesian çevrimiçi değişiklik noktası tespiti. arXiv ön baskı arXiv: 0710.3742.

— lacerbi
kaynak

Potansiyel bir açıklama şudur:

r_{t}

$r_t$ zaman adımının sonundaki çalışma uzunluğunu temsil eder

t

$t$ , o zaman değişiklik noktasından sonra

t

$t$ . Bununla, Denk. 1 mantıklı. Aslında, algoritmanın bir başlatılması

P (r_{0} = 0) = 1

$P(r_0 =0) = 1$ bu, başlangıçtaki başlangıçtan hemen önce bir değişiklik noktası olduğunu varsayar.

t = 1

$t=1$ . Bununla birlikte, Şekil 1 yanlıştır (veya en azından yanıltıcıdır);

t = 4

$t =4$ ve

t = 5

$t=5$ ve arasında

t = 10

$t=10$ ve

t = 11

$t=11$ Şekil 1a'da gösterildiği gibi,

r_{4}

$r_4$ ve

r_{10}

$r_{10}$ bu gösterime göre 0 olmalı, değil

r_{5}

$r_5$ ve

r_{11}

$r_{11}$ Şekil lb'ye göre.

— lacerbi

Denklemde garip bir şeyler oluyor. Son satırdaki toplamda orta faktör olarak 3

P (x_{t} ∣ r_{t - 1}, x_{t}^{(r)})

$P(x_t \mid r_{t-1}, x^{(r)}_t)$ düşünürken

x_{t}^{(r)}

$x^{(r)}_t$ içeren

x_{t}

$x_t$ . Şüpheliyim

t

$t$ ve

t - 1

$t-1$ yer değiştirdi

P (x_{t} ∣ r_{t}, x_{t - 1}^{(r)})

$P(x_t \mid r_t, x^{(r)}_{t-1})$ mantıklı olurdu. Denk. 11, sağ tarafa bağlı gibi görünüyor

x_{t}^{(r)}

$x_t^{(r)}$ sol tarafta hiç görünmüyor, bu yüzden ya yanlış bir şey var ya da gösterimi hiç anlamıyorum.

— Juho Kokkala

@JuhoKokkala: Bu duyguya sahip olan tek kişi olmadığım için mutluyum ...

— lacerbi

@lacerbi, bu yazı hakkında başka bir sorum daha var ve işe aşina olduğunuzdan buna cevap verebileceğinizi düşünüyorum: stats.stackexchange.com/questions/419988 .

— gwg

Hem (1) hem de (1b) doğrudur. OP'nin (bu modelde) şu noktada bir değişiklik noktası olabileceği hakkı var: $t+1$ , ve $x_{t+1}$ bir değişiklik noktasının olup olmadığına bağlıdır. Bu, (1) 'in olası değerleri olarak herhangi bir sorun olduğu anlamına gelmez. $r_{t+1}$ tarafından tamamen "kapsanır" $P(x_{t+1} \mid r_t, x_{1:t})$ . $P(x_{t+1} | r_t, x_{1:t})$ koşullu dağılımı anlamına gelir. $x_{t+1}$ şartlı $(r_t, x_{1:t})$ . Bu koşullu dağılım ortalamaları "diğer her şey" üzerinde, $r_{t+1}$ , şartlı $(r_t, x_{1:t})$ . Tıpkı birinin yazabileceği gibi, $P(x_{t+1000} | x_t)$ Bu, değişiklik noktalarının tüm olası yapılandırmalarını ve değerlerini dikkate alır. $x_i$ arasında meydana gelen $t$ ve $t+1000$ .

Geri kalanında önce (1) ve sonra (1b) 'ye göre (1b) türetiyorum.

Türetilmesi (1)

Herhangi bir rastgele değişken için $A,B,C$ , sahibiz

P (A ∣ B) = \sum_{c} P (A ∣ B, C = c) P (C = c ∣ B),

$\begin{equation} P(A \mid B) = \sum_c P(A \mid B, C=c)\,P(C=c \mid B), \end{equation}$ olduğu sürece

C

$C$ ayrıktır (aksi takdirde toplamın bir integralle değiştirilmesi gerekir). Bunu uygulayarak

x_{t + 1}, x_{1 : t}, r_{t}

$x_{t+1},x_{1:t},r_t$ :

P (x_{t + 1} ∣ x_{1 : t}) = \sum_{r_{t}} P (x_{t + 1} ∣ r_{t}, x_{1 : t}) P (r_{t} ∣ x_{1 : t}),

$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x_{1:t})\,P(r_t \mid x_{1:t}), \end{equation}$ arasındaki bağımlılıklar ne olursa olsun

r_{t}

$r_t$ ,

x_{1 : t}

$x_{1:t}$ ,

x_{t + 1}

$x_{t+1}$ yani henüz hiçbir model varsayımı kullanılmamıştır. Mevcut modelde,

x_{t + 1}

$x_{t+1}$ verilmiş

r_{t}, x_{t}^{(r)}

$r_t,x^{(r)}_t$ koşullu olarak aşağıdaki değerlerden bağımsız olduğu varsayılır *

x

$x$ önceki koşulardan

x_{t}^{(r)}

$x^{(r)}_t$ . Bu ima eder

P (x_{t + 1} ∣ r_{t}, x_{1 : t}) = P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)})

$P(x_{t+1} \mid r_t, x_{1:t}) = P(x_{t+1} \mid r_t, x^{(r)}_t)$ . Bunu önceki denkleme koyarsak,

P (x_{t + 1} ∣ x_{1 : t}) = \sum_{r_{t}} P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)}) P (r_{t} ∣ x_{1 : t}), (1)

$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x^{(r)}_t)\,P(r_t \mid x_{1:t}), \qquad \qquad \qquad (1) \end{equation}$ OP'de (1) olan

(1b) 'nin türetilmesi

Hadi ayrışmasını düşünelim $P(x_{t+1} \mid r_t, x^{(r)}_t)$ olası değerleri $r_{t+1}$ :

P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)}) = \sum_{r_{t + 1}} P (x_{t + 1} ∣ r_{t + 1}, r_{t}, x_{t}^{(r)}) P (r_{t + 1} ∣ r_{t}, x_{t}^{(r)}) .

$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)P(r_{t+1} \mid r_t, x^{(r)}_t). \end{equation}$

Bir değişiklik noktasının oluşup oluşmadığı * varsayıldığı için $t+1$ (arasında $x_t$ ve $x_{t+1}$ ) tarihine bağlı değildir $x$ , sahibiz $P(r_{t+1} \mid r_t, x^{(r)}_t) = P(r_{t+1} \mid r_t)$ . Ayrıca, $r_{t+1}$ olup olmadığını belirlemek $x_{t+1}$ aynı koşula ait $x_t$ , sahibiz $P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)=P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)$ . Bu iki basitleştirmeyi yukarıdaki çarpanlara ayırmak yerine,

P (x_{t + 1} ∣ r_{t}, x_{t}^{(r)}) = \sum_{r_{t + 1}} P (x_{t + 1} ∣ r_{t + 1}, x_{t}^{(r)}) P (r_{t + 1} ∣ r_{t}) .

$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t). \end{equation}$ Bunu (1) 'e koyarak,

P (x_{t + 1} ∣ x_{1 : t}) = \sum_{r_{t}} (\sum_{r_{t + 1}} P (x_{t + 1} ∣ r_{t + 1}, x_{t}^{(r)}) P (r_{t + 1} ∣ r_{t})) P (r_{t} ∣ x_{1 : t}), (1 b)

$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} \left(\sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t)\right)\,P(r_t \mid x_{1:t}), \qquad (1b) \end{equation}$ ki OP'ler (1b).

* Modelin koşullu bağımsızlık varsayımlarına ilişkin açıklama

Makaleye hızla göz atmaya dayanarak, kişisel olarak koşullu bağımsızlık özelliklerinin bir yerde daha açık bir şekilde ifade edilmesini istiyorum, ancak niyetin $r$ Markovyan ve $x$ : farklı çalışmalarla ilişkili s bağımsızdır (çalışma verildiğinde).

— Juho Kokkala
kaynak

(+1) Teşekkürler. Evet, elbette, Denk. 1, üstü kapalı bir marjinalleştirme varsa,

r_{t + 1}

$r_{t+1}$ . Sorun şu ki, daha sonra yazarlar tahminlerde bulunurlar (makalede Denk. 11 ve örtük olarak Denk. 3) ve görünüşe göre marjinalleşmiyorlar.

r_{t + 1}

$r_{t+1}$ onları aldıklarında.

— lacerbi

Ah. Görünüşe göre soruyu yanlış anladım - bunu silmeli miyim? Soruyu açıklığa kavuşturmak isteyebilirsiniz, şu anda (1) bir şekilde yanlış (belki de yararlı değil) gibi görünüyor

— Juho Kokkala

Lütfen değerli olan bu cevabı saklayın. Orijinal yazımda yeterince açık olmadığımdaki hatam. Yorumunuz sayesinde sorumu açıklığa kavuşturmaya çalıştım ve bu cevabı hala anlamlı kılan bir şekilde.

— lacerbi