Zaman Serisinde Eksik Değerleri ima etmek için Kalman filtrelerini kullanma

12

Kalman Filtrelerinin Zaman Serisi Verilerindeki eksik değerleri belirtmek için nasıl kullanılabileceği ile ilgileniyorum. Bazı ardışık zaman noktaları eksikse de uygulanabilir mi? Bu konuda fazla bir şey bulamıyorum. Herhangi bir açıklama, yorum ve bağlantılar bekliyoruz ve takdir!

data-imputation kalman-filter

— GS9
kaynak

Bu yazı ile ilgileniyor olabilirsiniz . Kalman filtresi aracılığıyla eksik değerleri ima etmek için bir ARIMA modelinin durum uzayı temsiline dayanan bir örnek verir.

— javlacalle

@javlacalle teşekkürler, bu yazıyı zaten biliyordum ve somut bir uygulama için harika bir örnek. Ama teorik arka planla ilgileniyorum.

— GS9

9

Ön bilgiler: Kalman filtreleme :

Kalman filtreleri formun durum-uzay modelleri üzerinde çalışır (yazmanın birkaç yolu vardır; bu Durbin ve Koopman'a (2012) dayanan kolay bir yöntemdir ; aşağıdakilerin hepsi mükemmel olan bu kitaba dayanmaktadır):

\begin{aligned} y_{t} & = Z α_{t} + ε_{t} & ε_{t} ~ N- (0,'H) \\ α_{t_{1}} & = T α_{t} + η_{t} & η_{t} ~ N- (0, S) \\ α_{1} & ~ N- ({bir}_{1}, P_{1}) \end{aligned}

$\begin{align} y_t & = Z \alpha_t + \varepsilon_t \qquad & \varepsilon_t \sim N(0, H) \\ \alpha_{t_1} & = T \alpha_t + \eta_t & \eta_t \sim N(0, Q) \\ \alpha_1 & \sim N(a_1, P_1) \end{align}$

burada , gözlemlenen seridir (muhtemelen eksik değerlerle), ancak tamamen gözlenmez. Birinci denklem ("ölçüm" denklemi), gözlemlenen verilerin belirli bir şekilde gözlemlenmemiş durumlarla ilişkili olduğunu belirtir. İkinci denklem ("geçiş" denklemi), gözlemlenmeyen durumların zaman içinde belirli bir şekilde geliştiğini söyler. $y_t$ $\alpha_t$

Kalman filtresi optimal tahminleri bulmak için çalışır ( Normal olduğu varsayılır: , bu yüzden Kalman filtresi aslında için dağılımın koşullu ortalama ve varyans hesaplamak olduğunu mu neyi zamana kadar olan gözlemlere bağlı ). $\alpha_t$ $\alpha_t$ $\alpha_t \sim N(a_t, P_t)$ $\alpha_t$ $t$

Tipik bir durumda (gözlemler mevcut olduğunda) Kalman filtresi mevcut durumunun tahmin ve mevcut gözlem kullanan sonraki durumu tahmin etmek için mümkün olan en iyi yapmak aşağıdaki gibi: $y_t$ $\alpha_{t+1}$

\begin{aligned} {bir}_{t + 1} & = T {bir}_{t} + K_{t} (y_{t} - Z α_{t}) \\ P_{t + 1} & = T P_{t} (T - K_{t} Z)^{'} + S \end{aligned}

$\begin{align} a_{t+1} & = T a_t + K_t (y_t - Z \alpha_t) \\ P_{t+1} & = T P_t (T - K_t Z)' + Q \end{align}$

burada "Kalman kazancı" . $K_t$

Bir gözlem olmadığında, Kalman filtresi hala ve mümkün olan en iyi şekilde hesaplamak ister . Yana kullanılamaz, bu ölçüm denklemin faydalanmak olamaz, ama yine de geçiş denklemi kullanabilirsiniz . Böylece, eksik olduğunda Kalman filtresi bunun yerine şunları hesaplar: $a_{t+1}$ $P_{t+1}$ $y_t$ $y_t$

\begin{aligned} {bir}_{t + 1} & = T {bir}_{t} \\ P_{t + 1} & = T P_{t} T^{'} + S \end{aligned}

$\begin{align} a_{t+1} & = T a_t \\ P_{t+1} & = T P_t T' + Q \end{align}$

Aslında, verildiğinde , veri olmadan için en iyi tahminim sadece geçiş denkleminde belirtilen evrimdir. Bu, veriler eksik olan herhangi bir süre için yapılabilir. $\alpha_t$ $\alpha_{t+1}$

Orada ise bir veri ardından filtreleme denklem ilk seti verileri olmadan iyi tahminlerinden ve önceki tahmini ne kadar iyi dayalı bir "düzeltme" ekleyin. $y_t$

Imputing data :

Kalman filtresi tüm zaman aralığına uygulandıktan sonra, için durumlarının optimal tahminlerine . Bu durumda ölçüm denklemi yoluyla verileri etkilemek kolaydır. Özellikle, sadece hesaplarsınız: $a_t, P_t$ $t = 1, 2, \dots, T$

{\hat{y}}_{t} = Z {bir}_{t}

$\hat y_t = Z a_t$

Referans olarak Durbin ve Koopman (2012) mükemmel; bölüm 4.10 eksik gözlemleri tartışmaktadır.

Durbin, J. ve Koopman, SJ (2012). Durum uzayı yöntemleri ile zaman serisi analizi (No. 38). Oxford Üniversitesi Yayınları.

— cfulton
kaynak

Daha pürüzsüz bir çözüm kullanmak, (zaten tüm (eksik olmayan) verilere sahip olduğundan, neden gelecekteki değerlerde de bilgileri kullanmıyorsunuz)

— Juho Kokkala

0

Yazıdaki javlacalle'ın yorumlarında işaret ettiği örnekte ardışık eksik zaman noktaları gösterilmektedir. Ayrıca, hesaplaması bu Durum Alanı belgesinde bölüm 2.1'de yer alan örtük (örnek içi tahmin edilen) değerlerin etrafındaki aralıklarla da ilgilenebilirsiniz .

İlginç olabilir başka kağıttır bu bir .

— Wayne
kaynak