Olay tahmini için gizli Markov modeli

Soru : Aşağıdaki kurulum bir Gizli Markov modelinin mantıklı bir uygulaması mı?

108,000(100 gün 2000boyunca alınan) bir veri setim ve tüm gözlem süresi boyunca yaklaşık olaylarım var. Veriler, gözlenen değişkenin 3 ayrık değer alabileceği ve kırmızı sütunların olay sürelerini vurguladığı aşağıdaki şekle benzer , yani 'ler: $[1,2,3]$ $t_E$

resim açıklamasını buraya girin

Şekilde kırmızı dikdörtgenlerle gösterildiği gibi, her olay için { - } ' ve etkin bir şekilde "olay öncesi pencereleri" olarak ele . $t_E$ $t_{E-5}$

HMM Eğitimi: Ben planlıyoruz yetiştirmek Pg üzerinde önerildiği gibi birden gözlem dizileri metodolojisini kullanarak, tüm "olay öncesi pencereleri" dayalı bir Gizli Markov modelleri (HMM). 273 adet Rabiner gazetesi . Umarım bu, bir olaya yol açan dizi kalıplarını yakalayan bir HMM eğitmeme izin verecektir.

HMM Tahmini: Sonra bu HMM'yi tahmin etmek için kullanmayı planlıyorum $log[P(Observations|HMM)]$ yeni bir günde, $Observations$ geçerli zaman arasındaki gözlemleri içerecek şekilde gerçek zamanlı olarak güncellenen kayan bir pencere vektörü olacak $t$ ve $t-5$ gün geçtikçe.

Görmeyi umuyorum $log[P(Observations|HMM)]$ için artış $Observations$ "olay öncesi pencereleri" ne benzer. Bu aslında olayları gerçekleşmeden önce tahmin etmeme izin vermelidir.

— Zhubarb
kaynak

Bir model oluşturmak için verilerinizi bölebilirsiniz (diyelim 0.7), ardından modelinizi kalan veriler üzerinde test edebilirsiniz. Sadece bir düşünce, bu alanda uzman değilim.

— Fernando

Evet teşekkür ederim. HMM'lerin emin olmadığım göreve uygunluğu daha fazla.

— Zhubarb

@Zhubarb Benzer bir sorunla ilgileniyorum ve HMM yaklaşımınızı takip etmek istiyorum. Nerede başarılı oldunuz? Yoksa sonunda lojistik regresyon / SVM, vb.

— Javierfdr

@Javierfdr, uygulamadaki zorluk ve alto'nun cevabında vurguladığı endişeler nedeniyle bunu uygulamamıştım. Esasen, HMM'ler geniş bir üretken model oluşturmak zorunda kalmanın yükü ile gelirken, şu anki bağırsak hissim eldeki problem için, önerdiğiniz gibi ayrımcı bir modelle (SVM, Nöral Net, vb.) .

— Zhubarb

Tanımladığınız yaklaşımla ilgili bir sorun, ne tür bir artışın $P(O)$ anlamlıdır, bu zor olabilir $P(O)$ genel olarak her zaman çok küçük olacaktır. İki SMM eğittik ilgi olay olay gözlem dizileri için meydana gelir ve HMM2 nerede gözlem dizileri için HMM1 söylemek iyi olabilir vermez oluşur. Sonra bir gözlem dizisi verildi $O$ var

\begin{aligned} P ('H'H M 1 | Ö) & = \frac{P (Ö |'H M M 1) P ('H M M 1)}{P (Ö)} \\ α P (Ö |'H M M 1) P ('H M M 1) \end{aligned}

$\begin{align*} P(HHM1|O) &= \frac{P(O|HMM1)P(HMM1)}{P(O)} \\ &\varpropto P(O|HMM1)P(HMM1) \end{align*}$ ve aynı şekilde HMM2 için. O zaman olayın gerçekleşeceğini tahmin edebilirsiniz

\begin{aligned} P ('H M M 1 | Ö) & > P ('H M M 2 | Ö) \\ ⟹ \frac{P ('H M M 1) P (Ö |'H M M 1)}{P (Ö)} & > \frac{P ('H M M 2) P (Ö |'H M M 2)}{P (Ö)} \\ ⟹ P ('H M M 1) P (Ö |'H M M 1) & > P ('H M M 2) P (Ö |'H M M 2) . \end{aligned}

$\begin{align*} P(HMM1|O) &> P(HMM2|O) \\ \implies \frac{P(HMM1)P(O|HMM1)}{P(O)} &> \frac{P(HMM2)P(O|HMM2)}{P(O)} \\ \implies P(HMM1)P(O|HMM1) &> P(HMM2)P(O|HMM2). \end{align*}$

Feragatname : Takip eden şey benim kişisel deneyimime dayanıyor, bu yüzden ne olduğuna göre al. HMM'ler ile ilgili güzel şeylerden biri, değişken uzunluk dizileri ve değişken sipariş efektleri (gizli durumlar sayesinde) ile başa çıkmanıza izin vermesidir. Bazen bu gereklidir (birçok NLP uygulamasında olduğu gibi). Bununla birlikte, sadece son 5 gözlemin ilgili olayı tahmin etmekle ilgili olduğunu varsaydığınız bir önsezi var gibi görünüyor. Bu varsayım gerçekçi ise, geleneksel teknikleri (lojistik regresyon, saf bayes, SVM, vb.) Kullanarak ve sadece son 5 gözlemi özellikler / bağımsız değişkenler olarak kullanarak önemli ölçüde daha fazla şansınız olabilir. Tipik olarak bu tür modellerin eğitilmesi daha kolay olacak ve (tecrübelerime göre) daha iyi sonuçlar üretecektir.

— alto
kaynak

@ alto, teşekkür ederim. Dediğin gibi, bakacağım

p = l o g (P (O | h m m))

$p = log(P(O|hmm))$ ve benzeri değerler

p_{1} = - 2504, p_{2} = - 2403, p_{3} = - 2450

$p_1 =-2504, p_2 = -2403, p_3= -2450$ vb.

p

$p$ sorunlu olabilir. Bu arada, HMM2 eğitimi zor olacak. HMM2 (olay yok) için sahip olduğum puan sayısı çok daha yüksek olacak ve pıtırtı değil, sadece gürültü olabilir. Ne düşünüyorsun? Not : Pencere boyutum keyfi olarak 5'i seçtim, gerçek bir uygulamadan daha uzun olması muhtemeldir.

— Zhubarb

@Berkan Bahsettiğiniz herhangi bir sorunun (olay dizilerinden daha fazla olay dizisi ve hiçbir olay için sadece gürültü) 2 HMM yaklaşımını dışlaması gerektiğini düşünmüyorum. Öncekini aldıysanız

P (H M M 1)

$P(HMM1)$ hesaba kattığımda (bu konuda orijinal cevabımı güncelledim) o zaman dengesiz sınıf dağılımını ayarlamanız gerekebilir (olaylardan daha fazla olay yok), ancak bununla başa çıkmanın birçok yolu vardır. Örneğin verdiğim bu cevaba bakınız .

— alto

@Berkan Pencere boyutuna gelince, kendi kişisel deneyimime dayanarak, bu konuda söylediğim şeylerin herhangi bir sabit pencere boyutu için beklemesini bekliyorum . Açıkçası, söylediğim tüm şeylerin kendi probleminiz için ampirik olarak test edilmesi gerekecek.

— alto

Cevabınızı güncellediğiniz için teşekkürler, şimdi çok daha net. Logaritmalarla çalışacağım için karşılaştırma yapacağım:

l o g (P (H M M 1)) + l o g (P (O | H M M 1)) > ? l o g (P (H M M 2)) + l o g (P (O | H M M 2))

$log(P(HMM1))+log(P(O|HMM1)) >? log(P(HMM2))+log(P(O|HMM2))$ . Şimdi,

l o g (P (H M M 1))

$log(P(HMM1))$ ileri algoritması kullanılarak hesaplanır, nasıl hesaplarım

l o g (P (H M M 1))

$log(P(HMM1))$ ? Ti sadece atadığımdan önce mi?

— Zhubarb

Cevabınızı güncellediğiniz için teşekkürler, şimdi çok daha net. Logaritmalarla çalışacağım için karşılaştırma yapacağım:

l o g (P (H M M 1)) + l o g (P (O | H M M 1)) > ? l o g (P (H M M 2)) + l o g (P (O | H M M 2))

$log(P(HMM1))+log(P(O|HMM1))>?log(P(HMM2))+log(P(O|HMM2))$ . Şimdi,

l o g (P (H M M 1))

$log(P(HMM1))$ ileri algoritması kullanılarak hesaplanır. Frekanslara dayalı basit MLE kullanarak log (P (HMM1)) hesaplayabilir miyim? yani verilen dava için,

H M M 1 = (5 * 2, 000) / 108, 000

$HMM1 = (5 * 2,000) / 108,000$ burada pay HMM1 ve paydaların altına düşen nokta sayısı veri kümesinin boyutudur.

— Zhubarb